RoboCup-2D仿真比赛中多智能体协作问题的研究

论文摘要

多智能体协作问题是近年来分布式人工智能领域研究的一个热点。RoboCup作为验证多智能体一个理想平台,被越来越多的学者用来验证协作算法的可行性和有效性。本文以RoboCup-2D仿真比赛为研究对象,研究多智能体间的协作问题。论文完成的主要工作有：（1）针对RoboCup-2D仿真比赛中多智能体协作的问题,提出一种三层多智能体协作模型。通过实际应用表明,该模型不仅能提高RoboCup-2D仿真系统中智能体的智能性,而且有利于智能体间的实时动态协作；（2）研究了在RoboCup-2D仿真比赛中球队阵形变换与角色转换中智能体间的协作关系。通过阵形来约束智能体的行为,使多智能体之间具有一定的协作性；通过引入角色的概念并与阵形变换相结合,实现了基于阵形变换与角色转换的多智能体动态协作；采用Petri-net建模方法对阵形变换与角色转换过程中智能体的协作关系进行建模,并分析了模型的各种性能指标,然后将其应用到RoboCup-2D仿真比赛中,从理论和实际两方面验证了模型的正确性和可行性；（3）采用Q学习算法来对RoboCup-2D仿真比赛中单智能体的行为决策进行训练。通过智能体在RoboCup-2D仿真比赛带球跑位中的实际应用,验证了Q学习算法在解决单智能体行为决策时的有效性；（4）为了解决多智能体间的协作问题,在Q学习算法基础上提出了联合Q学习算法,并将该算法成功应用到RoboCup-2D传球协作中。实验结果表明,联合Q学习算法比传统的Q学习算法能更有效的解决多智能体间的协作问题。论文最后将上述研究成果应用于RoboCup-2D仿真比赛中,来验证协作方法和策略的有效性和正确性。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 课题背景及研究意义
• 1.2 国内外研究现状
• 1.3 主要研究问题及基本思想
• 1.4 论文构成
• 2 RoboCup-2D仿真环境下的智能体协作模型结构
• 2.1 RoboCup-2D足球仿真比赛系统
• 2.2 球队程序结构
• 2.2.1 主程序流程图
• 2.2.2 主要类介绍
• 2.3 智能体协作模型
• 2.3.1 基于规划协作的模型
• 2.3.2 基于智能体的BDI模型
• 2.3.3 自协调模型
• 2.4 球队多智能体协作的模型结构
• 2.5 本章小结
• 3 基于Petri-net的阵形变换与角色转换模型分析
• 3.1 Petri-net的基本理论
• 3.2 Petri-net的基本模型结构与基本分析技术
• 3.2.1 Petri-net的基本模型结构
• 3.2.2 Petri-net的基本分析技术
• 3.3 RoboCup-2D仿真中的球队阵形的选择与变换
• 3.3.1 RoboCup-2D仿真中球队比赛阵形
• 3.3.2 球队初始阵形设定
• 3.4 基于Petri-net的阵形变换分析
• 3.4.1 模型分析
• 3.4.2 模型说明
• 3.5 基于Petri-net的角色转换分析
• 3.6 RoboCup-2D比赛实例图分析
• 3.7 本章小结
• 4 基于强化Q学习的智能体基本技能学习
• 4.1 强化Q学习算法
• 4.2 Q学习算法在带球跑位中的应用
• 4.2.1 一对一带球跑位Q学习实现
• 4.2.2 一对多带球跑位策略
• 4.3 参数设置
• 4.4 实验结果分析
• 4.4.1 算法性能分析
• 4.4.2 RoboCup-2D比赛实例图分析
• 4.5 本章小结
• 5 联合Q学习在传球协作中的应用
• 5.1 联合Q学习算法
• 5.2 联合Q学习算法的RoboCup-2D传球策略实现
• 5.2.1 传球对象的确定
• 5.2.2 确认传球对象方法分析
• 5.3 传球配合中的协作分析
• 5.4 联合Q学习算法在传球协作中的应用
• 5.4.1 联合Q学习的程序流程
• 5.4.2 状态及动作定义
• 5.4.3 学习参数设定及结果
• 5.5 复杂球场状态处理
• 5.6 RoboCup-2D仿真实验结果分析
• 5.7 本章小结
• 6 总结与展望
• 6.1 总结
• 6.2 展望
• 致谢
• 参考文献