多Agent强化学习及其应用研究

论文摘要

强化学习是一种重要的机器学习方法，其特点是通过感知环境状态信息来学习动态系统的最优策略，通过试错法不断与环境交互来改善自己的行为，并且对环境的先验知识要求很低。多Agent强化学习是传统强化学习的改进，其利用多个Agent共同协作学习，达到并行处理的效果，减少了学习时间，加快寻找最优策略的速度。本文主要工作是设计了一种分层的多Agent强化学习模型，包括任务层，工作层，通信层和决策层。指出了模型各层的作用与实现的方法。进一步，结合多核技术，给出在多核环境下模型的实现。同时介绍了相关性能指标，可对实现后的模型进行性能评价。基于分层的多Agent强化学习的模型，本文还提出了主任务分发和子任务分配多Agent Q学习方法。前者实现了基于信息融合的决策层和加锁模式通信层；后者实现了基于信息仲裁的决策层和无锁模式通信层。两种算法分别可用于解决在多核环境下机器人路径规划和多路口交通信号控制问题。在采用主任务分发多Agent Q学习方法后，机器人路径规划仿真实验结果表明相对于单Agent Q学习方法，学习速度加快，收敛时间减小，能合理利用计算资源。在采用子任务分配多Agent Q学习方法后，多路口交通信号控制仿真实验结果表明，相对于定时控制与传统Q学习控制，车辆平均等待时间和排队数减少，交通更加通畅。所有实验结果证明了所提方法的有效性。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 强化学习概述
• 1.2 多 Agent 强化学习与多核技术
• 1.2.1 研究背景
• 1.2.2 研究现状
• 1.3 本文的主要工作和组织结构
• 第二章 强化学习简介
• 2.1 强化学习与马尔可夫决策
• 2.2 强化学习基本模型
• 2.3 强化学习算法
• 2.3.1 瞬时差分学习
• 2.3.2 Sarsa 学习
• 2.4 Q 学习
• 2.5 本章小结
• 第三章 多 Agent 强化学习
• 3.1 多 Agent 强化学习简介
• 3.2 多 Agent 强化学习模型
• 3.2.1 任务层
• 3.2.2 工作层
• 3.2.3 通信层
• 3.2.4 决策层
• 3.3 多 Agent 强化学习流程
• 3.4 与多核技术的结合
• 3.4.1 并行随机访问机模型
• 3.4.2 多核环境下的实现
• 3.4.3 多核环境下性能评价标准
• 3.5 本章小结
• 第四章 基于主任务分发的多 Agent Q 学习
• 4.1 基于主任务分发的多 Agent Q 学习模型
• 4.1.1 同构环境任务层和工作层实现
• 4.1.2 基于信息融合方式的决策层实现
• 4.1.3 加锁模式通信层实现
• 4.2 多核环境下的实现
• 4.3 多 Agent Q 学习工作流程
• 4.4 机器人路径规划应用
• 4.4.1 仿真环境设置
• 4.4.2 机器人行为及行为瞬时奖赏函数的设计
• 4.5 仿真实验
• 4.5.1 简单环境
• 4.5.2 复杂环境
• 4.5.3 实验总结
• 4.6 本章小结
• 第五章 基于子任务分配的多 Agent Q 学习
• 5.1 基于子任务分配的多 Agent Q 学习模型
• 5.1.1 异构环境任务层和工作层实现
• 5.1.2 基于信息仲裁技术的决策层实现
• 5.1.3 无锁模式通信层实现
• 5.2 多核环境下的实现
• 5.3 多 Agent Q 学习工作流程
• 5.4 多路口交通信号控制应用
• 5.4.1 仿真环境设置
• 5.4.2 路口控制 Agent 行为状态及行为瞬时奖赏函数的设计
• 5.4.3 仲裁 Agent 设计实现
• 5.5 仿真实验
• 5.5.1 低流量情况仿真
• 5.5.2 中流量情况仿真
• 5.5.3 高流量情况仿真
• 5.5.4 实验分析
• 5.6 无锁模式通信实验
• 5.6.1 实验仿真对比
• 5.6.2 实验小结
• 5.7 本章小结
• 第六章 结束语
• 6.1 本文总结
• 6.2 问题与展望
• 致谢
• 参考文献