面向无线传感器网络的流数据聚类算法研究

论文摘要

随着无线传感器网络（Wireless Sensor Network, WSN）应用的日益深入,海量数据的产生在WSN环境中也将变得越来越普遍。但是传统的如简单的数据查询等数据处理方式,不仅无法满足人们日益深刻的信息提取需求,而且完全不能适应海量流数据环境下大规模实时数据处理要求。而流数据挖掘技术能够探究隐含在海量流数据中有价值的信息,其中流数据聚类技术又特别适用于WSN环境监控技术的研究,这是因为聚类算法在解决模型先验知识不足的数据检测问题上有先天的优势。考虑到在WSN环境进行监控需要实时检测到各种行为模式的存在,本文所研究的WSN入侵监控问题,便尝试利用流数据聚类算法来解决。传统的监控方案如基于BP神经网络的入侵监控系统,其计算时间复杂度明显高于线性增长速度,难以实现WSN的在线入侵监控;另一方面以往许多入侵监控算法未能较好地解决监控未知网络入侵行为的问题。而本文设计了新的面向WSN的流数据聚类算法,能够有效地对未知网络入侵行为进行在线监控;其分布式的解决方案尝试进一步地解决集中式数据监控的处理方式易出现的数据拥堵等问题。以下说明本文的主要的工作为:1、设计了基于流数据聚类的网络入侵监控算法---DOExMiCluster。在借鉴吸收经典的流数据聚类算法CLUSTREAM设计经验的基础上,放弃在实时入侵监控中不适用的设计使得新算法的时间和空间复杂度得到了进一步的降低,同时设计若干个与以往算法不同的微簇（微聚类）,实验表明较之DOExMiCluster算法能对正常网络行为进行更好的学习。2、WSN入侵行为监控只能利用少数能覆盖整个网络的节点来配置相关的计算单元,本文拟将微簇分割到各个单元中,构建一个基于分簇路由的分布式DOExMiCluster入侵监控系统,其中簇头、辅助计算节点、用于流数据转发的流导向模块等结构组成一个完整的计算单元,最后这些计算单元以环形流水线的方式组织起来,进行流数据条件下的分布式计算。实验表明基于DOExMiCluster的WSN入侵监控技术能够达到较高的入侵识别正确率和较低的误判率,满足严格的线性时间复杂度要求。其中分布式入侵监控系统在WSN中能进一步精确识别已知入侵行为。分布式系统模型的设计使得整个系统以环形流水线的方式处理流数据,适应了WSN中数据需要快速流转的特征。但是,本文没能很好地考虑在WSN环境中存在的数据异构问题,数据传输过程噪音问题以及当出现某个计算单元失效时监控系统容错问题等,这些都是需要在进一步的研究工作中解决的。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 研究背景及意义
• 1.1.1 面向无线传感器网络流数据聚类的意义
• 1.1.2 无线传感器入侵监控
• 1.2 研究现状
• 1.3 本文创新之处及内容安排
• 第2章 基于数据挖掘的无线传感器网络入侵监控
• 2.1 无线传感器网络介绍
• 2.1.1 无线传感器网络
• 2.1.2 无线传感器网络的特点
• 2.1.3 无线传感器网络体系结构
• 2.2 传统的网络入侵监控算法
• 2.2.1 入侵监控分类
• 2.2.2 基于神经网络的方法
• 2.2.3 基于规则的专家系统
• 2.2.4 基于概率统计的方法
• 2.2.5 机器学习的方法
• 2.2.6 基于人工免疫的网络入侵监控模型
• 2.3 适用于WSN 入侵监控的聚类方法
• 2.3.1 基于蚁群的聚类方法
• 2.3.2 增量式的K-Means 方法
• 第3章 流数据聚类理论与 CLUSTREAM
• 3.1 流数据聚类理论
• 3.1.1 流数据及其模型
• 3.1.2 流数据挖掘面临的挑战
• 3.1.3 流数据聚类分析的特点
• 3.1.4 流数据聚类分析的一般思路
• 3.1.5 常见的流数据聚类方法
• 3.2 CLUSTREAM 算法
• 3.2.1 CFC 微簇
• 3.2.2 Pyramidal 时间框架
• 3.2.3 联机微聚类与脱机宏聚类
• 3.2.4 性能分析
• 第4章 基于流数据聚类方法的 WSN 未知入侵行为检测
• 4.1 DOExMiCluster 算法
• 4.1.1 算法的基本思想
• 4.1.2 算法的技术背景
• 4.1.2.1 由CFC 到ECFC 的聚类特征向量
• 4.1.2.2 数据转化
• 4.1.2.3 距离度量
• 4.1.3 K-means 算法
• 4.1.4 DOExMiCluster 处理流程
• 4.1.4.1 初始化微簇
• 4.1.4.2 微簇的训练
• 4.1.4.3 异常数据监测
• 4.1.5 DOExMiCluster 算法性能分析
• 4.2 分布式DOExMiCluster 技术
• 4.2.1 分布式数据挖掘简介
• 4.2.2 ECFC 分布式模型结构的建立
• 4.2.2.1 WSN 分簇路由结构
• 4.2.2.2 基于WSN 分簇路由的ECFC 分布式结构
• 4.2.3 分布式ECFC 微簇运行流程
• 4.2.4 性能分析
• 第5章 实验及相关分析
• 5.1 实验数据介绍及入侵检测评价标准
• 5.1.1 实验数据
• 5.1.2 入侵检测评价标准
• 5.2 参数的设定与训练过程中的微簇稳定性实验
• 5.2.1 参数的设定
• 5.2.2 微簇稳定性实验
• 5.3 DOExMiCluster 及对比实验
• 5.3.1 基于小样本学习的实验
• 5.3.2 基于大样本学习的实验
• 5.3.3 对比实验
• 5.4 分布式DOExMiCluster 实验
• 5.4.1 与集中方式的入侵检测精度对比
• 5.4.2 监控类型扩展的分布式实验
• 第6章 结束语
• 6.1 本文总结
• 6.2 今后工作展望
• 参考文献
• 致谢
• 攻读学位期间参加的科研项目和成果