基于增强学习和ART2神经网络的移动机器人路径规划研究

论文摘要

本文在增强学习和ART2神经网络的基础上,研究了移动机器人路径规划问题,并重点分析了路径规划中的避碰撞问题。本文主要的工作和创新点有以下三个方面:（1）首先针对增强学习中的策略问题,提出了一种渐进式Soft-Max行为选择策略;即在学习初始时,因为对行为掌握的经验知识不够,学习主要通过探索以得到行为的经验知识;在学习的后期则因积累了足够多的经验知识,可以更好地利用行为,同时也可以通过某种突变以达到加快或减慢学习速度的目的。其次针对连续性任务,提出了一种连续任务On-Policy增强学习方法S-Learning以及基于最先策略的增强学习方法FPRL（Foremost-Policy Reinforcement Learning）,并在仿真实验中与传统的Q-Learning方法进行对比,以说明这两种增强学习方法的可行性。（2）为了解决增强学习中传统的策略查询表（lookup-table）不适合存储大量的状态值和行为值的问题,本文采用ART2神经网络存储大量的状态空间和分类模式。面对大量的分类模式,手工评估和选择分类模式是非常困难的,为此本文在ART2神经网络中引入增强学习评估和选择机制,结合成RL-ART2（Reinforcement Learning based ART2 Neural Network）神经网络,成功地解决了如何评估和选择已存储在ART2中的分类模式的问题。（3）提出了基于RL-ART2神经网络的移动机器人多障碍物避碰撞系统RLART2-CAS（RLART2-Collision Avoidance System）。为了解决多障碍物环境下,难于手工获取避碰撞规则的难题,本文采用增强学习的方法使系统可以自主获得避碰撞规则;采用RL-ART2神经网络,实现了增强学习和神经网络的集成,解决了规则存储需要占用大量内存空间的问题,并自动评估避碰效果,使系统能够通过学习获得理想的避碰行为,完成路径规划。

论文目录

• 摘 要
• ABSTRACT
• 第一章 绪论
• 1.1 课题来源
• 1.2 课题研究的目的和意义
• 1.3 移动机器人国内外研究概况
• 1.3.1 国外研究概况
• 1.3.2 国内研究概况
• 1.4 论文的主要研究内容
• 第二章 增强学习研究
• 2.1 增强学习简介
• 2.1.1 增强学习原理和结构
• 2.1.2 增强学习分类
• 2.2 最优搜索型强化学习算法
• 2.2.1 TD 算法
• 2.2.2 Q-Learning
• 2.2.3 Sarsa
• 2.3 经验强化型增强学习算法
• 2.4 部分感知
• 2.5 函数估计
• 2.6 符号学习和增强学习偏差
• 2.6.1 Dyna-Q
• 2.6.2 增强学习中的规划抽取
• 2.6.3 增强学习偏差
• 2.7 增强学习应用
• 2.8 小结
• 第三章 ART2 自适应谐振神经网络理论
• 3.1 自适应谐振理论ART
• 3.2 ART2 神经网络模型
• 3.3 ART2 神经网络的基本工作原理
• 3.3.1 F场运算过程
• 3.3.2 F场运算过程
• 3.3.3 调整子系统运算过程
• 3.3.4 长期记忆权值的调整方式
• 3.4 ART2 神经网络学习算法
• 3.5 小结
• 第四章 移动机器人路径规划方法研究
• 4.1 传统路径规划方法
• 4.1.1 自由空间法
• 4.1.2 人工势场法
• 4.1.3 栅格法
• 4.2 智能路径规划方法
• 4.2.1 基于模糊逻辑的移动机器人路径规划方法
• 4.2.2 基于神经网络的移动机器人路径规划方法
• 4.2.3 基于遗传算法的移动机器人路径规划方法
• 4.2.4 基于混合方法的机器人路径规划方法
• 4.3 小结
• 第五章 连续任务增强学习方法 S-learning 及基于最先策略的增强学习方法FPRL
• 5.1 增强学习行为选择策略
• 5.2 渐进式Soft-Max 行为选择策略
• 5.3 一种连续任务On-Policy 增强学习方法S-Learning
• 5.4 基于最先策略的增强学习方法FPRL
• 5.5 小结
• 第六章 基于增强学习的ART2 神经网络RL-ART2
• 6.1 基于增强学习的ART2 神经网络RL-ART2
• 6.2 RL-ART2 的学习算法
• 6.3 小结
• 第七章 基于 RL-ART2 神经网络的移动机器人多障碍物避碰撞系统RLART2-CAS
• 7.1 引言
• 7.2 基于规则的移动机器人避碰撞方法
• 7.2.1 障碍物运动状态的获取
• 7.2.2 避碰撞规则的定义
• 7.2.3 基于增强学习的避碰撞行为评估和选择
• 7.3 基于RL-ART2 的避碰撞系统RLART2-CAS
• 7.3.1 RLART2-CAS 避碰撞系统结构
• 7.3.2 RLART2-CAS 避碰撞系统流程
• 7.4 小结
• 第八章 仿真实验分析
• 8.1 仿真平台及环境设置
• 8.1.1 仿真平台TeamBots
• 8.1.2 仿真环境设置
• 8.2 增强学习评价仿真实验
• 8.3 RL-ART2 神经网络的避碰撞仿真实验
• 8.4 RL-ART2 神经网络路径规划仿真实验
• 8.5 小结
• 第九章 总结与展望
• 9.1 总结
• 9.2 进一步工作
• 参考文献
• 作者在攻读博士学位期间公开发表的论文
• 作者在攻读博士学位期间所作的项目
• 作者在攻读博士学位期间所写的专著
• 致谢
• 发表意见书
• 博硕士学位论文同意发表声明