基于增强学习的多sink无线传感网路由机制研究

论文摘要

在无线传感网中,传感器节点在电源能量、计算能力、通信能力等方面具有局限性,节点间如何协作并发挥其整体综合作用,如何延长网络生存期,是设计无线传感网路由算法的重点和难点。本文以无线传感网路由算法作为主要研究对象,分析了几种国内外比较典型的无线传感网路由算法,研究了多sink节点无线传感网在分摊网络能源负载上的优势,并在此基础上提出了两种基于增强学习的多sink节点无线传感网路由机制。从现有的无线传感网路由协议可以看出,它们大都考虑不全面如只考虑节点跳数、距离、位置等。本文利用增强学习算法的Q-learning算法,使节点在选择下一跳时综合考虑节点的剩余能量、通信耗能、距离、跳数,选择具有回报值最大的节点作为路由的下一跳选择,该机制称为基于Q学习算法的多sink节点无线传感网路由机制QLRP-MS（Q-learning-based Routing Protocol for Multi-sink WSNs ）。另外,针对分层路由LEACH算法在簇头选择中存在的随机性容易使节点能耗过大、过早失效的问题,本文提出了利用增强学习算法的TD算法预测节点剩余能量,使簇头的选择不再具有随机性,大大提高了选取剩余能量值大的节点当选为簇头的可能性,该机制称为基于TD算法的多sink节点无线传感网路由机制TDLP-MS（Temporal Differences-based LEACH Protocol for Multi-sink WSNs）。通过仿真看出,上述的两种路由机制在一定程度上均衡了网络的能源消耗分布,延长了网络的使用寿命。在多sink节点无线传感网的应用环境下,网络使用寿命更长,性能更好。

论文目录

• 摘要
• ABSTRACT
• 目录
• 缩略词
• 第一章 绪论
• 1.1 研究背景
• 1.2 目前研究概述
• 1.3 研究内容和创新点
• 1.4 论文结构
• 第二章 无线传感网路由协议概述
• 2.1 无线传感网路由特点
• 2.2 无线传感网路由协议分类
• 2.3 无线传感网路由协议分析
• 2.3.1 经典平面路由协议
• 2.3.2 经典分层路由协议
• 2.3.3 路由协议特点比较
• 2.4 多sink 节点无线传感网路由算法研究状况
• 2.5 基于增强学习的路由协议
• 2.6 本章小结
• 第三章 增强学习理论
• 3.1 Agent 的定义
• 3.2 增强学习概述
• 3.3 增强学习的相关定义
• 3.4 增强学习的分类和两种经典算法
• 3.4.1 TD（λ）算法
• 3.4.2 Q-learning 算法
• 3.5 增强学习的应用
• 3.6 本章小结
• 第四章 基于Q-learning 的多sink 无线传感网路由机制
• 4.1 多 Agent 增强学习算法
• 4.2 QLRP-MS 机制构建背景
• 4.3 QLRP-MS 机制构建过程
• 4.4 QLRP-MS 的示例分析
• 4.5 仿真分析与实现
• 4.6 本章小结
• 第五章 基于TD 能量预测的多sink 无线传感网路由机制
• 5.1 能量预测模型
• 5.2 LEACH 算法分析
• 5.3 马尔科夫链能量预测模型
• 5.4 基于TD 能量预测的模型
• 5.5 TDLP-MS 机制构建过程
• 5.6 仿真实现与分析
• 5.7 本章小结
• 第六章 总结与展望
• 6.1 工作总结
• 6.2 展望
• 致谢
• 参考文献
• 硕士期间发表的论文