基于强化学习的移动机器人自主学习及导航控制

论文摘要

移动机器人是一种能够在工作环境中自主移动并完成预定任务的智能系统，是机器人学和智能控制的一个重要研究领域，在工业、农业、民用以及军事等领域具有广泛的应用前景。在移动机器人的各项研究和应用中，导航是最基本和最重要的问题，移动机器人在其工作环境中必须具有可靠而灵活的自主移动能力，而基于学习的控制方法是实现机器人自主导航的关键技术。 在各种学习方法中，强化学习具有较强的在线自适应性和对复杂系统的自学习能力，且能较好地符合人们解决问题的心理习惯，在机器人导航研究中受到了广泛的关注。然而随着移动机器人应用领域的扩展，对机器人学习与导航控制技术也不断提出了新的挑战，尤其是针对实际工程应用的环境感知、强化学习在连续状态和动作空间的泛化、局部环境的反应式控制、基于混合式控制的大范围空间定性导航等都存在着亟待解决的问题。因此结合人工智能、自动控制、机器人学等领域的研究成果，通过自主学习实现未知环境下的导航控制，是一个关键的研究课题，在移动机器人理论研究和工程应用等方面均具有重要的意义。 本文在分析总结已有工作的基础上，以移动机器人自主学习和导航控制为主要研究内容，深入研究了基于强化学习及其改进方法的移动机器人反应式控制和分层式导航控制，针对不同的导航任务和环境感知信息特点，提出了相应的信息融合方法、知识表示方法、学习算法和控制结构，并从仿真和实际移动机器人硬件平台（ATU—Ⅱ）两个方面对所提出的方法进行了实验验证。主要的研究工作和贡献如下： （1）研究了基于多超声波传感器系统的数据融合及知识表示方法 设计了适用于移动机器人的多超声波传感器系统，并提出了一种基于多超声波传感器的目标识别方法。利用数据融合技术，根据多超声波传感器的TOF（Time-of-Flight）信息，提出了基于目标原型的目标识别和对感兴趣目标的主动探测方法，实现了移动机器人对室内特征环境较为准确的识别，为复杂任务的自动分解提供了一种合适的子目标来源。 基于灰色系统理论，提出了灰色测量系统与灰色传感器的概念，给出了感知信息的灰色表示与运算，并以多超声波传感器系统为例做了相应的说明。对环境状态的灰色表示与处理为导航问题中的混合地图创建、基于灰色控制规则的学习算法等奠定了基础。 （2）研究了基于强化学习的反应式控制方法 给出了一种基于强化学习和模糊逻辑的反应式控制方法，结合模糊逻辑实现了对感知信息的模糊化，有效处理了连续状态和动作空间问题；在实际控制中分别设计了避障和寻找目标点两种反应式行为分别进行学习训练，并根据行为融合输出最终控制命令，完成感知信息到移动机器人动作的映射。同时针对未知环境下机器人导航中存在的感知信息不完备、推理过程具有不确定性的特点，对基于灰色系统理论的知识表示和灰色强化函数进行了初步探

论文目录

• 摘要
• Abstract
• 插图目录
• 算法目录
• 第一章 绪论
• 1.1 选题的背景和意义
• 1.2 移动机器人研究现状
• 1.2.1 移动机器人研究的发展
• 1.2.2 移动机器人导航研究现状
• 1.2.3 机器人学习与知识表示
• 1.3 全文内容安排
• 参考文献
• 第二章 强化学习
• 2.1 Markov决策过程与强化学习
• 2.1.1 Markov决策过程
• 2.1.2 强化学习模型与基本要素
• 2.2 强化学习基本算法
• 2.2.1 瞬时差分方法
• 2.2.2 Q学习方法
• 2.3 分层式强化学习
• 2.4 强化学习应用中的关键问题
• 2.4.1 泛化方法
• 2.4.2 探索与利用的权衡
• 2.4.3 强化函数与算法结构设计
• 2.5 本章小结
• 参考文献
• 第三章 多超声波传感器信息融合与知识表示
• 3.1 多超声波传感器系统信息处理
• 3.1.1 多超声波传感器系统
• 3.1.2 测距信息处理
• 3.1.3 测试结果及分析
• 3.2 基于多超声波传感器的目标识别
• 3.2.1 多超声波传感器系统设置
• 3.2.2 目标识别及主动探测算法
• 3.2.3 实验及分析
• 3.3 基于灰色系统的智能传感器及信息处理
• 3.3.1 灰色测量系统与灰色传感器
• 3.3.2 感知信息的灰色表示及运算
• 3.3.3 基于灰色系统的多超声波传感器
• 3.4 本章小结
• 参考文献
• 第四章 基于强化学习的反应式控制
• 4.1 反应式控制
• 4.2 基于强化学习与模糊逻辑的反应式控制
• 4.2.1 移动机器人模型
• 4.2.2 反应式行为设计
• 4.2.3 仿真实验及结果分析
• 4.3 灰色强化学习初探
• 4.3.1 灰色强化学习算法
• 4.3.2 仿真实验及结果分析
• 4.4 量子强化学习
• 4.4.1 量子计算方法
• 4.4.2 量子强化学习
• 4.4.3 算法分析及讨论
• 4.4.4 仿真实验及结果分析
• 4.5 本章小结
• 参考文献
• 第五章 基于分层式强化学习的定性导航
• 5.1 栅格—拓扑混合式地图创建
• 5.1.1 栅格地图
• 5.1.2 基于拓扑地图的定性空间构造
• 5.2 分层式强化学习的定性空间表示
• 5.2.1 定性代数的形式化框架FAQA
• 5.2.2 定性空间强化学习框架
• 5.2.3 分层式强化学习的混合代数表示
• 5.3 基于分层式强化学习的定性导航
• 5.3.1 混合式控制体系结构
• 5.3.2 基于拓扑地图的全局规划
• 5.3.3 局部环境的反应式控制
• 5.3.4 仿真实验及结果分析
• 5.4 本章小结
• 参考文献
• 第六章 移动机器人ATU-II及其导航控制
• 6.1 移动机器人平台ATU-II
• 6.1.1 整体设计
• 6.1.2 硬件配置
• 6.1.3 软件设计
• 6.2 基于强化学习的导航实验研究
• 6.2.1 二阶段学习模式
• 6.2.2 实验结果及其分析
• 6.3 本章小结
• 参考文献
• 第七章 总结与展望
• 致谢
• 攻读博士学位期间完成的论文