多智能体协作策略的研究及在RoboCup中的应用

论文摘要

多智能体协作是多智能体系统MAS研究的核心问题。在复杂、动态、不确定的多智能体环境中,为了满足多智能体协作中对局部配合和通信受限的要求,本文对智能体策略寻优、行为协调和动作规划问题进行研究,来构建适用于不同情况下的多智能体协作策略,并在典型的MAS——RoboCup机器人足球仿真系统平台下进行检验。首先,为了实现智能体行为选择的优化和多智能体的局部协作,提出基于行为协同优化的多智能体协作策略。智能体通过模块化模糊Q学习对其他智能体的行为进行评估,考虑它们的行为对自身行为选择的约束,来优化自身的行为决策,再采用共享联合意图的协调方法解决智能体之间的行为冲突,得到其最优行为策略。其次,在通信受限的情况下,提出基于多智能体行为图的分层规划协作策略。根据智能体感知到的局部环境信息,利用行为图对其行为过程进行预测规划,再结合模块化模糊Q学习中获得的行为选择的先验知识,逐层调整其初始行动计划,获得智能体协调一致的动作规划序列,使其针对当前环境快速做出有效决策来实现与其他智能体的协作。论文提出的多智能体协作策略应用到中南大学CSU_YunLu机器人足球仿真球队中,在实际训练和对抗比赛中验证了其有效性。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 课题研究背景
• 1.2 国内外研究现状
• 1.3 研究目的及意义
• 1.4 主要研究内容和构成
• 第二章 RoboCup中多智能体协作策略的研究
• 2.1 多智能体的协作
• 2.1.1 协调与协作
• 2.1.2 RoboCup仿真球队协作策略分析
• 2.2 协作策略设计的关键技术
• 2.2.1 行为协调
• 2.2.2 行动策略的学习
• 2.2.3 动作序列的规划
• 2.3 RoboCup中协作策略设计的难点
• 2.3.1 协作任务确定
• 2.3.2 协作过程规划
• 2.3.3 多智能体的行为决策
• 2.4 小结
• 第三章 基于行为协同优化的多智能体协作策略
• 3.1 基于行为协同优化的双层多智能体协作模型
• 3.2 模块化模糊 Q学习的个体行为优化
• 3.2.1 智能体学习空间的模块化划分
• 3.2.2 模块化模糊 Q学习算法（MFQL）
• 3.2.3 基于MFQL的智能体行为决策过程
• 3.3 协作智能体的冲突消解
• 3.3.1 协调主体的确定
• 3.3.2 利用联合意图实现智能体最优行为决策
• 3.4 行为协同优化的协作策略在RoboCup防守协作中的应用
• 3.4.1 后卫断球配合策略的离线学习
• 3.4.2 协作防守性能分析
• 3.5 小结
• 第四章 基于多智能体行为图的分层规划协作
• 4.1 多智能体行为图（MABG）
• 4.1.1 行为图的形式化表示
• 4.1.2 多智能体行为图的正规化
• 4.2 MABG分层规划协作模型
• 4.3 分层规划协作过程
• 4.3.1 先验知识的层次概化
• 4.3.2 规划协作策略的确定
• 4.4 MABG分层规划协作策略在RoboCup进攻协作中的应用
• 4.4.1 球员边路进攻协作策略的规划
• 4.4.2 对抗比赛中规划性能的分析
• 4.5 小结
• 第五章 总结与展望
• 5.1 本文主要工作
• 5.2 后期研究展望
• 参考文献
• 附录1 图索引
• 附录2 表索引
• 致谢
• 攻读学位期间的论文情况和科研情况