基于增强学习的无线传感器网络自组织方法研究

论文摘要

在无线传感器网络中,传感器节点在电源能量、计算能力、通信能力等方面具有局限性,节点间如何相互协作并发挥其整体综合作用,是设计无线传感器网络自组织的重点和难点。同时,针对无线传感器网络能量有限的特点,如何延长网络生存期也是设计无线传感器网络的另一个重点。本文以无线传感器网络自组织方法作为主要研究对象,分析了几种国内外比较典型的无线传感器网络自组织的方法,以及在此基础上提出了两种基于增强学习的自组织方法。从现有的自组织方法可以看出,无线传感器网络的自组织是通过路由协议和拓扑控制实现的。针对这个两个解决途径,本文将增强学习算法运用到自组织系统中,分别提出了基于Q学习的自组织策略（QLSOP,Q-Learning Self-Organization Policy）和基于TD能量预测的最小生成树的自组织方法（TD-MST,Temporal Differences Minimum Spanning Tree）。QLSOP充分利用了Q-Learning算法的动态适应性,综合考虑了距离、跳数、通讯能耗、剩余能耗的因素,使得节点可以利用值函数来寻找最优路径,找到传感器节点的能量消耗和剩余能量之间的平衡点。TD-MST利用TD算法进行节点能量预测,计算出能量消耗和剩余能量之比,以此作为权值,以sink节点为根构建最小生成树。值得指出的是,利用TD算法预测邻居节点的能量消耗,避免了节点间发送大量的告知信息,减少控制信令的能耗。通过仿真实验结果可以看出,上述的两种自组织方法可以把网络平均时延控制在一个较低的层次,同时还能延长网络生存周期。本文的研究成果主要适用于对自组织性要求较高的小规模场景,也有助于对新自组织方法的探索。

论文目录

• 摘要
• ABSTRACT
• 缩略词
• 第一章 绪论
• 1.1 研究背景
• 1.2 国内外研究情况
• 1.3 研究内容及创新点
• 1.4 论文结构
• 第二章 无线传感器网络自组织技术概述
• 2.1 无线传感器网络自组织特点
• 2.2 无线传感器网络自组织路由协议
• 2.2.1 能量感知路由协议
• 2.2.2 基于增强学习算法的路由协议
• 2.3 无线传感器网络自组织拓扑控制方法
• 2.3.1 功率控制算法
• 2.3.2 分簇拓扑控制算法
• 2.4 本章小结
• 第三章 基于Q 学习的无线传感器网络自组织方法
• 3.1 多 Agent 增强学习算法
• 3.1.1 多Agent 定义及基本特征
• 3.1.2 增强学习算法的基本原理
• 3.1.3 经典的增强学习算法
• 3.2 基于Q 学习的自组织策略QLSOP
• 3.3 仿真分析与实现
• 3.4 本章小结
• 第四章 基于TD 能量预测的无线传感器网络自组织方法
• 4.1 能量预测模型
• 4.1.1 基于马尔可夫能量预测模型
• 4.1.2 基于TD 的能量的预测模型
• 4.2 基于最小生成树和TD 能量预测自组织策略TD-MST
• 4.3 仿真实现与分析
• 4.4 本章小结
• 第五章 总结与展望
• 5.1 工作总结
• 5.2 展望
• 致谢
• 参考文献
• 发表论文