基于状态预测的多智能体自协调协作模型设计

论文摘要

救援机器人是当前机器人与多智能体系统研究中的一个新兴领域,它涉及机器人学、人工智能、智能控制、计算机视觉等多个领域并且有现实意义。协作模型系统作为整个救援机器人系统的核心,决定了机器人间的协调协作与运动规划,是机器人的“大脑”。因此,协作模型系统的研究在多机器人、多智能体领域具有十分重要的意义。本文以救援机器人RoboCupRescue仿真系统为研究对象,针对传统的协作模型很难满足多智能体系统在反应性、适应性、智能性和学习能力等方面的要求,提出一种基于状态预测的多智能自协调两层协作模型。该模型把决策系统分为上下两层:中央决策层和行为层。上层中央决策层采用Q学习分别进行状态预测和阵型规划决策,并针对状态预测和阵型规划的特点和要求分别对Q学习的结构进行了合理的改进。针对普通Q学习在环境状态复杂的情况下收敛速度较慢的缺点,通过分析RoboCupRescue仿真系统的特性,分别采用世界状态属性精简的方法和模糊聚类的方法把数量众多的系统状态转化为为数不多的精简状态和模糊状态,从而大大减少了Q学习的状态空间,提高了算法的收敛速度;同时,针对普通Q学习算法易收敛到局部最优,本文通过分析Q学习算法中三个关键参数(学习率α、折扣因子γ和温度值T)的作用,提出一种自适应Q学习算法,动态地调整这三个参数,从而实现系统全局最优动作。下层行为层,取代传统的机器人作为上层意图的简单执行方法或单纯的对外部世界做出反应,充分利用移动机器人的行为特性,提出一种行为效用评估算法对上层决策意图和自身的反应式策略进行行为效用预估,从而选择出最有效的行为方式。继而基于RoboCupRescue智能体的特殊结构,提出一种基于改进栅格法的蚁群算法,进行最佳行动路径规划。该行为层的设计减轻了中央决策层的决策任务,提高了系统的实时反应性。本文采用JaVa编程语言在Linux下编写决策程序来实现整个协作模型系统的设计。通过在RoboCupRescue救援机器人仿真平台上进行仿真比赛,验证了所设计模型的有效性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景与研究意义
• 1.2 国内外研究现状
• 1.3 救援机器人系统
• 1.3.1 RoboCupRescue救援机器人比赛
• 1.3.2 救援机器人仿真比赛系统
• 1.4 论文主要内容及构成
• 第二章 自协调协作模型总体结构
• 2.1 协作的目的
• 2.2 自协调协作模型设计要求
• 2.3 几种常见的Multi-Agent体系结构
• 2.4 RoboCupRescue系统中主要面临的协作问题
• 2.5 状态预测问题的提出
• 2.6 基于状态预测的多智能体自协调模型结构
• 2.7 中央决策层强化学习算法选择
• 2.7.1 强化学习概念和原理
• 2.7.2 强化学习系统的组成要素
• 2.7.3 强化学习分类
• 2.8 本章小结
• 第三章 基于强化学习的状态预测方法设计
• 3.1 RoboCupRescue系统的世界模型及对状态预测的影响
• 3.1.1 RoboCupRescue系统的世界模型
• 3.1.2 世界模型对基于强化学习的状态预测的影响
• 3.2 针对状态预测的Q学习算法设计
• 3.2.1 Q学习算法改进问题的提出
• 3.2.2 Q学习算法的改进
• 3.3 基于改进 Q学习的世界模型状态预测方法设计
• 3.3.1 世界模型（状态空间）的建立
• 3.3.2 世界模型（动作空间）的建立
• 3.3.3 预测状态空间的建立
• 3.3.4 奖赏函数的设计
• 3.3.5 预测状态的选择策略
• 3.3.6 学习更新
• 3.4 本章小结
• 第四章 基于状态预测的多Agent自协调模型设计
• 4.1 决策方式
• 4.2 基于状态预测和改进Q学习的阵型决策设计
• 4.2.1 针对阵型决策的Q学习算法改进
• 4.2.2 阵型决策方法设计
• 4.3 行为层设计
• 4.3.1 反应式策略
• 4.3.2 Agent行为效用评估
• 4.3.3 基于改进栅格法的Agent路径规划蚁群算法设计
• 4.4 本章小结
• 第五章 软件设计及仿真分析
• 5.1 软件设计目标
• 5.2 软件设计
• 5.3 仿真实验与分析
• 5.3.1 仿真环境介绍
• 5.3.2 仿真实验内容与设置
• 5.3.3 仿真结果分析
• 5.4 本章小结
• 第六章 结论与展望
• 6.1 结论
• 6.2 展望
• 参考文献
• 致谢
• 攻读学位期间主要的研究成果