分布式足球机器人学习与协作研究

论文摘要

Robocup机器人足球系统是一个典型的多智能体系统,同时也是一个典型的多智能体协作与竞争系统,它为分布式人工智能的研究提供了一个标准的试验平台。多智能体学习与协作是当今人工智能领域研究的难点与热点,机器人足球系统涉及到多个机器人的协同工作,实时性很强,在这种环境下研究智能体的学习问题和多智能体的协作问题具有很大的挑战。本文以全自主的机器人足球为背景,主要针对智能体学习和多智能体协作两方面进行了深入的研究。 在智能体学习方面,考虑到强化学习算法需要离散化状态空间和行为空间,而机器人足球系统是一个连续的空间,如果对所有变量进行离散必然导致维数灾难,且无法在实际系统中实现。在此基础上设计了改进算法,选择只离散化输入状态,同时将强化学习和在线搜索相结合,该方法提高了搜索速度和踢球动作的成效。 在多智能体协作研究方面,针对机器人足球的动态、不确定环境因素对智能体行为、协作的影响,智能体如何在不确定环境下进行协作就成为一个关键的问题。本文详细论述了三种已经应用到机器人足球上的协作模型和框架,分别探讨了他们的优缺点和可行性。 实验与应用研究表明,本文在智能体学习方面所做的算法结合了强化学习和启发式搜索的优点,将其应用到Robocup仿真比赛中的踢球动作设计,得到了令人满意的效果。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 分布式人工智能
• 1.2 智能体及其要素
• 1.2.1 智能体的定义
• 1.2.2 智能体的特性
• 1.3 机器人足球
• 1.3.1 机器人足球赛的长期目标与短期目的
• 1.3.2 机器人足球世界杯的项目分类
• 1.4 国内外研究现状及应用前景
• 1.4.1 国内外研究现状
• 1.4.2 应用前景和应用领域
• 1.5 本文研究的主要内容及组织
• 1.5.1 多智能体的学习
• 1.5.2 多智能体的协作
• 第二章 多智能体系统模型
• 2.1 Agent的结构分类
• 2.1.1 反应式Agent
• 2.1.2 跟踪式Agent
• 2.1.3 慎思式Agent
• 2.1.4 复合式Agent
• 2.2 多智能体系统
• 2.2.1 多Agent的基本模型
• 2.2.2 多Agent系统的体系结构
• 2.3 机器人足球比赛中的智能体模型
• 2.4 本章小结
• 第三章 Robocup 3D仿真系统分析
• 3.1 系统介绍
• 3.1.1 SPADES
• 3.1.2 Soccer Server
• 3.1.3 Monitor
• 3.2 仿真比赛的动作模型和感知模型
• 3.2.1 动作模型
• 3.2.2 感知模型
• 3.3 策略系统
• 3.3.1 整体策略
• 3.3.1 阵型与角色
• 3.4 本章小结
• 第四章 分布式足球机器人系统学习算法与动作设计
• 4.1 机器学习
• 4.2 多Agent学习
• 4.2.1 世界强队的多智能体学习技术
• 4.3 强化学习算法
• 4.3.1 强化学习的基本模型
• 4.3.2 几种重要的强化学习算法
• 4.4 基于强化学习的机器人足球动作设计
• 4.4.1 Robocup中运动模型介绍
• 4.4.2 强化学习与在线搜索相结合
• 4.4.3 实验结果
• 4.5 本章小结
• 第五章 分布式足球机器人系统协作技术
• 5.1 多智能体的协作、协商和协调
• 5.1.1 多智能体的协作方法
• 5.1.2 多智能体的协商技术
• 5.1.3 多智能体的协调方法
• 5.2 足球机器人的智能体协作方法
• 5.2.1 面临的主要问题
• 5.2.2 评价模式
• 5.3 Robocup中的三种成功协作方法
• 5.3.1 TSR足球机器人团队协作框架
• 5.3.2 FCPortugal的SBSP算法
• 5.3.3 清华防守体系中的协作
• 5.5 本章小结
• 第六章 结束语
• 6.1 论文研究结果
• 6.2 研究展望
• 参考文献
• 发表论文和参加科研情况说明
• 致谢
• 西北工业大学学位论文知识产权声明书
• 西北工业大学学位论文原创性声明