基于自主和自学习行为智能体的AUV运动规划研究

论文摘要

本论文以国家重大基础研究项目“水下无人潜器技术”为背景,对基于行为主义的智能体技术在自治式水下机器人(Autonomous underwatervehicle,简称AUV)运动规划中的应用展开了深入地研究。论文的研究旨在提高AUV自主作业过程中对环境的适应性、反应的快速性以及决策的有效性。论文主要完成以下的研究工作:针对动态不确定环境下的AUV运动规划问题,将智能体的行为看作是AUV和环境之间交互的一个动态变化的过程,提出并阐释了行为动力学方法,并利用该方法建立了AUV水平面的自主行为智能体。仿真结果表明自主行为智能体对非结构环境响应快速,正确、有效。垂直面运动规划对AUV下潜深度及距底高度均有特殊要求,而单独的定高航行或定深航行难以同时满足。本文建立了基于模糊推理的AUV垂直面自主行为智能体,对定高航行行为和定深航行行为进行融合。仿真结果说明垂直面自主行为智能体在保证AUV自身安全的同时,尽可能满足了声学仪器对距底高度的要求,此外正常航行时AUV不随海底地形起伏而频繁改变深度,使得航行稳定。为了对AUV空间运动规划中水平面和垂直面自主行为智能体进行协调,提出了基于使命分解和任务执行语句的行为协调机制。该机制的原理是:将使命分解成若干个能够顺序执行的任务,针对特定任务定义任务执行语句,任务执行语句将任务转换为并发的自主行为智能体,再按照优先级规则对并发行为进行协调。进行了仿真验证,结果证明提出的自主行为智能体及协调机制正确、可行。针对传统强化学习方法应用于AUV工程实际的不足,如学习的泛化性差、试错带来的风险性以及学习效率低等,提出了基于神经网络和案例的Q学习算法(NCQL)。NCQL的基本思想是用神经网络解决Q学习的泛化问题;用案例学习保证学习过程的收敛性、避免试错的风险及提高学习效率。给出了基于NCQL的AUV自学刊行为智能体各要素的实现方法。进行了仿真,仿真结果可以看出,提出的NCQL算法收敛性能好、收敛速度快并且收敛到的结果较优化。NCQL算法具有在线学习和自适应学习的特点。论文从自主控制体系结构顶层设计要求出发,设计了含行为智能体的混合式AUV自主控制系统。采用有色Petri网(CPN)作为工具,对所提出的结构进行了形式化建模,利用CPN的数学理论分析了模型基本特性,包括有界性、活性和互斥性。形式化分析验证了AUV自主控制体系结构以上性质的正确性和有效性。为了综合验证本文所提出的各主要方法,分别进行了声呐湖上试验、缩尺度模拟试验和半实物仿真试验。本文从声学传播和声呐物理特性考虑,提出了一种数字滤波算法,对多波束前视声呐探测到的数字信号进行后处理。设计了基于声呐信息的避障试验方案,进行了避障行为动力学模型的湖上试验验证。设计了AUV缩尺度模拟试验,应用激光测距仪模拟AUV前视声呐传感器,完成了不同案例下的水平面行为智能体功能的有效验证。利用半实物仿真平台对含行为智能体的AUV自主控制系统进行了仿真试验。通过反复试验,进一步说明了本文所提方法正确、可行。基于自主和自学习行为智能体的运动规划研究对于AUV安全、高效地完成远程航海与地形勘察自主作业使命,具有重要的理论意义和实用价值。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题研究的背景和意义
• 1.2 智能体及其计算结构研究综述
• 1.3 基于行为主义的智能体研究热点
• 1.3.1 智能体的行为设计
• 1.3.2 智能体的行为协调机制
• 1.3.3 智能体的行为学习
• 1.4 论文研究的方法和内容
• 1.5 论文的组织
• 第2章 基于行为动力学和模糊推理的AUV自主行为智能体研究
• 2.1 引言
• 2.2 自主行为智能体的定义
• 2.2.1 基本行为
• 2.2.2 组合行为
• 2.2.3 宏行为
• 2.3 AUV空间运动规划中的基本行为
• 2.3.1 水平面的基本行为
• 2.3.2 垂直面的基本行为
• 2.4 行为动力学方法
• 2.4.1 行为变量
• 2.4.2 行为动力学模型的建立
• 2.5 基于行为动力学的AUV水平面自主行为智能体的建立
• 2.5.1 行为变量的选取
• 2.5.2 趋向目标行为动力学模型
• 2.5.3 避障行为动力学模型
• 2.5.4 速度控制
• 2.5.5 水平面的宏行为建立
• 2.5.6 水平面运动规划仿真研究
• 2.5.7 行为动力学的特点
• 2.6 基于模糊推理的AUV垂直面自主行为智能体的建立
• 2.6.1 定高和定深航行行为的设计与协调
• 2.6.2 垂直面运动规划仿真研究
• 2.7 基于使命描述的AUV三维空间运动规划行为协调机制
• 2.7.1 使命描述
• 2.7.2 使命分解
• 2.7.3 航渡和地形勘察的任务执行语句
• 2.7.4 三维空间运动规划仿真研究
• 2.8 本章小结
• 第3章 基于NCQL的AUV自学习行为智能体研究
• 3.1 引言
• 3.2 强化学习算法在应用过程中的几个关键问题
• 3.3 基于神经网络和案例的Q学习（NCQL）
• 3.3.1 基于多层误差反馈神经网络的强化学习泛化技术
• 3.3.2 基于神经网络和案例的Q学习算法
• 3.4 基于NCQL的AUV自学习行为智能体的建立
• 3.4.1 基于NCQL的自学习行为智能体结构
• 3.4.2 AUV状态空间的表示
• 3.4.3 AUV动作空间的描述
• 3.4.4 强化信号（报酬）的确定
• 3.4.5 动作的选择机制
• 3.4.6 预置先验案例
• 3.5 基于自学习行为智能体的AUV运动规划仿真研究
• 3.6 本章小结
• 第4章 含行为智能体的AUV自主控制系统集成技术研究
• 4.1 引言
• 4.2 含行为智能体的AUV自主控制系统体系结构
• 4.2.1 AUV自主控制系统顶层设计
• 4.2.2 AUV自主控制系统结构总体设计
• 4.3 AUV自主控制系统形式化描述
• 4.3.1 基于有色网建模的基本知识
• 4.3.2 基本建模算子
• 4.3.3 基于有色网的AUV自主控制系统建模
• 4.4 AUV自主控制系统形式化分析
• 4.4.1 有色网的数学定义
• 4.4.2 自主控制系统基本逻辑性质分析
• 4.5 本章小结
• 第5章 基于行为智能体的AUV运动规划试验研究
• 5.1 引言
• 5.2 基于声呐信息的AUV避障行为湖试
• 5.2.1 Dolphin6201多波束前视声呐
• 5.2.2 声呐数字滤波算法设计
• 5.2.3 试验过程描述及结果分析
• 5.3 水平面行为协调缩尺度模拟试验
• 5.3.1 试验系统的构建
• 5.3.2 环境探测方案设计
• 5.3.3 试验过程描述及结果分析
• 5.4 含行为智能体的AUV自主控制系统半实物仿真试验
• 5.4.1 半实物仿真平台硬件拓扑结构设计
• 5.4.2 半实物仿真系统基本功能分配
• 5.4.3 试验过程描述及结果分析
• 5.5 本章小结
• 结论
• 参考文献
• 攻读博士学位期间发表的论文和取得的科研成果
• 致谢