强化学习在机械手路径规划中的应用

论文摘要

两手臂机械手作为一种特殊的机器人，由于它的两个手臂紧密连接，它们之间具有很强的关联性，在机械手从一点到另一点的移动过程中，各个手臂不能像一般的机器人一样视为一个点或圆，而只能简化为几条互连的线段，这样各个手臂的路径规划就成为一个有待尽快解决的问题。本文提出了一种基于强化学习理论的机械手路径规划方法，解决了具有两个手臂的机械手在二维平面系统中的路径规划问题，仿真实验证实了这一方法的有效性。 强化学习通过试错和与环境交互获得策略的改进，作为一种无监督学习方法，它直接从环境反馈中进行学习，这种特点使它能够适应变化的环境。其自学习和在线学习的特点使其成为机器学习研究的一个重要分支。不同于有导师学习，它不需要给出输入—输出对，只是利用环境的惩奖信号来改善自己的行为。 本文首先介绍了强化学习的原理和结构，引入了强化学习的理论模型—马尔可夫决策过程，给出了常用的强化学习算法的流程，然后在此基础上介绍了多智能体强化学习理论的数学模型—马尔可夫对策，对基本的多智能体强化学习算法做了改进，削减了学习单元的冗余状态信息，降低了学习空间的组合强度，加快了多智能体强化学习算法的学习速度，最后提出了一种按比例分配的结构信度分配方法，把多智能体强化学习算法成功应用到了机械手路径规划中。

论文目录

• 第1章 绪论
• 1.1 引言
• 1.2 路径规划技术的研究现状
• 1.2.1 全局路径规划方法
• 1.2.2 局部路径规划方法
• 1.3 强化学习技术的发展历史
• 1.4 强化学习技术的研究现状
• 1.5 本文各章节结构安排
• 第2章 单智能体强化学习
• 2.1 简介
• 2.2 马尔可夫决策过程（MDP）
• 2.3 动态规划方法
• 2.3.1 值迭代
• 2.3.2 策略迭代
• 2.4 蒙特卡洛算法
• 2.5 瞬时差分算法
• 2.5.1 瞬时差分（Temporal Difference）
• 2.5.2 探索和利用（Exploration versus Exploitation）
• 2.5.3 Sarsa算法
• 2.5.4 Q学习算法
• 2.6 多步强化学习
• 2.6.1 多步 TD算法
• 2.6.2 多步 Sarsa算法
• 2.6.3 多步 Q算法
• 2.7 本章小结
• 第3章 多智能体强化学习
• 3.1 理论基础
• 3.1.1 Markov对策
• 3.1.2 Nash均衡
• 3.1.3 概念介绍
• 3.1.4 基本算法
• 3.2 算法改进
• 3.2.1 基本思想
• 3.2.2 预测动作
• 3.2.3 预测状态
• 3.3 本章小结
• 第4章 机械手路径规划
• 4.1 机械手工作环境
• 4.2 碰撞检测
• 4.3 状态及动作分割
• 4.3.1 状态分割
• 4.3.2 动作分割
• 4.4 强化学习回报函数设计
• 4.5 结构信度分配
• 4.6 动作选择机制
• 4.6.1 单智能体强化学习动作选择
• 4.6.2 机械手强化学习动作选择
• 4.7 仿真程序算法
• 4.8 机械手路径规划仿真
• 4.9 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文和取得的科研成果
• 致谢