基于强化学习的足球机器人决策系统设计

论文摘要

足球机器人是当前机器人研究中的一个热点，涉及机器人学、人工智能、智能控制、计算机视觉等多个领域。决策系统作为整个足球机器人系统的核心，决定了机器人间的协调协作，是机器人的“大脑”。因此，决策系统的研究在多机器人、多智能体领域具有十分重要的意义。本论文以足球机器人Mirosot 5v5仿真比赛为研究对象，针对传统的决策模型很难满足足球机器人系统在反应性、适应性、智能性和学习能力等方面的要求，提出一种基于改进O学习的足球机器人两层协作模型。该模型把整个决策系统分为上下两层：协调层和运动控制层。上层协调层针对普通Q学习在环境状态复杂的情况下收敛速度较慢的缺点，通过分析足球机器人比赛的特性，采用模糊聚类的方法把数量众多的系统状态转化为为数不多的模糊状态，从而大大减少了Q学习的状态空间，提高了算法的收敛速度；同时，针对普通Q学习算法易收敛到局部最优，本文通过分析Q学习算法中三个关键参数（学习率α、折扣因子γ和温度值T）的作用，提出一种自适应Q学习算法，动态地调整这三个参数，从而实现系统全局最优动作。下层运动控制层，取代传统的机器人作为上层意图的简单执行方法，将下层机器人的控制设计成为一个智能体，主要设计了三个角色的智能体：防守队员、进攻队员和助攻队员，从而减轻协调层的决策任务，提高了系统的实时反应性。本文采用C++编程语言在Windows下编写动态链接库（DLL）程序来实现整个决策子系统的设计。通过在MiroSot足球机器人仿真平台上进行仿真比赛，验证了所设计模型的有效性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景与研究意义
• 1.2 国内外研究现状
• 1.3 论文主要内容及构成
• 第二章 足球机器人系统
• 2.1 实物足球机器人比赛系统
• 2.2 足球机器人仿真比赛系统
• 2.2.1 Robot Soccer v1.5a仿真平台介绍
• 2.2.2 5vs5仿真平台的运动模型
• 2.2.3 基于Robot Soccer v1.5a编程开发的向导
• 2.3 小结
• 第三章 决策系统总体结构及其强化学习算法
• 3.1 决策系统设计要求
• 3.2 决策系统总体结构
• 3.3 下层智能体结构的选择
• 3.3.1 Agent的定义
• 3.3.2 Agent的体系结构
• 3.4 协调层强化学习算法选择
• 3.4.1 强化学习概念和原理
• 3.4.2 强化学习系统的组成要素
• 3.4.3 强化学习分类
• 3.4.4 TD学习算法
• 3.4.5 Q学习算法
• 3.5 小结
• 第四章 基于改进Q学习的决策算法
• 4.1 决策方式
• 4.2 Q学习算法改进
• 4.3 基于改进Q学习的协调层设计
• 4.3.1 基于Q学习的策略选择模块
• 4.3.2 角色分配模块的设计
• 4.4 运动控制层设计
• 4.5 小结
• 第五章 软件实现与效果分析
• 5.1 软件设计目标
• 5.2 软件设计
• 5.3 仿真实验与分析
• 5.4 小结
• 第六章 结论与展望
• 6.1 结论
• 6.2 展望
• 参考文献
• 致谢
• 攻读学位期间主要的研究成果