基于聚类算法的流量识别方法研究及系统实现

论文摘要

准确而快速的识别流量是确保网络安全和流量控制的基础。尤其是在如今Internet技术飞速发展,不断涌现出新型的协议及应用软件,如P2P（Peer-To-Peer）等。新业务不断增加,使得出口网络带宽利用率居高不下,甚至引起网络拥塞,对于企业或者校园网络来说尤为明显。同时,通过不安全的网络环境获得的应用程序,可能使得病毒和恶意代码入侵。本文的主要工作如下:1.研究了应用在网络传输的各个属性,以及几种面向流量识别的聚类算法,并分析了各个属性的优势和劣势,以及面向流量识别的聚类算法的优点和存在的缺陷,为本文的研究目标确定了方向。2.在流量识别算法设计环节,首先本文确定了以应用在进行网络连接时候的前4个数据包的长度和方向为流量识别指标;其次,以K-means算法为例,由于原始的K-means算法的初始化簇中心的选择存在缺陷,通过对这个环节的改进,并引入NMI值来对聚类效果进行验证,得到了一种改进的K-means算法,使用这个算法来对所选取的识别指标进行聚类和特征提取。3.在聚类算法提取出特征后,针对现今网络流量的特征变化较快,而修改程序中的特征参数带来编译时间较长,降低系统性能的问题。本文提出使用XML脚本语言来对流量特征进行描述,程序通过读取特征描述文件在线匹配流量。这种方法在遇到特征变化的时候,只需修改脚本文件里面的特征参数即可。4.基于上述3点,本文设计与实现了基于聚类算法的流量识别系统。该系统能支持多种聚类算法,并将所得到的流量特征使用XML脚本语言描述。通过加载特征描述文件来在线识别流量。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 选题背景及意义
• 1.2 国内外研究现状和已有成果
• 1.2.1 基于端口识别方法
• 1.2.2 基于负载识别方法
• 1.2.3 基于测度识别方法
• 1.2.4 综合方法
• 1.3 论文的研究思路和主要工作
• 1.4 论文的结构
• 第2章 面向流量识别的聚类算法研究与分析
• 2.1 数据挖掘技术介绍
• 2.2 聚类技术介绍
• 2.3 聚类算法
• 2.4 K-MEANS 算法
• 2.4.1 K-means 算法基本思想
• 2.4.2 K-means 算法分析
• 2.5 DBSCAN 算法
• 2.5.1 DBSCAN 算法基本思想
• 2.5.2 DBSCAN 算法分析
• 2.6 K-MEDOIDS 算法
• 2.6.1 K-medoids 算法基本思想
• 2.6.2 K-medoids 算法分析
• 2.7 已有的基于聚类分析的流量识别方法
• 2.8 本章小结
• 第3章 基于K-MEANS++的流量识别算法设计
• 3.1 识别测度的选择
• 3.1.1 先前的研究
• 3.1.2 合适的识别测度
• 3.2 识别测度的提取
• 3.3 训练数据集
• 3.4 K-MEANS++算法聚类
• 3.4.1 初始化簇中心的选择
• 3.4.2 簇质量优化
• 3.5 在线识别
• 3.6 本章小结
• 第4章 基于XML 脚本语言的流量特征描述方法
• 4.1 XML 介绍
• 4.2 描述方法
• 4.2.1 基本协议描述规则
• 4.2.2 XML 文件解析方法
• 4.2.3 匹配过程
• 4.3 性能对比
• 4.4 本章小结
• 第5章 基于聚类算法的流量识别系统实现和验证
• 5.1 系统功能需求
• 5.2 系统运行的软硬件环境
• 5.3 基于聚类算法的流量识别系统设计实现
• 5.3.1 离线分析阶段
• 5.3.2 XML 特征解析阶段
• 5.3.3 在线识别阶段
• 5.4 实验数据
• 5.5 实验结果
• 5.5.1 应用层协议在线识别结果
• 5.5.2 算法改进效果验证
• 5.5.3 不同簇数目下识别率比较
• 5.5.4 与基于特征负载的识别方法的比较
• 5.6 性能分析和评估
• 5.6.1 K-means 算法和K-means++算法的比较
• 5.6.2 在线识别阶段的复杂性
• 5.7 本章小结
• 结论
• 参考文献
• 致谢
• 附录 A 攻读学位期间所发表的学术论文目录
• 附录 B 攻读学位期间所参与的科研项目
• 附录 C 攻读学位期间所申请的专利