基于决策树的网络流量分类研究

论文摘要

网络流量分类技术作为网络管理、流量工程以及安全检测等研究课题的基础,其研究具有重要的实用价值。传统的基于端口和基于深度包检测的网络流量分类方法因为p2p及载荷加密等技术的流行而变得失效。基于“网络流”统计特征和机器学习的方法因为能够有效地解决这些问题而成为了流量分类领域的新方向。目前,大多数基于机器学习的流量分类方法以“流分类准确率”为目标,没有考虑流量分类器在“字节分类准确率”的表现。但随着“大象流”、“老鼠流”之间不平衡现象愈演愈烈,“字节分类准确率”更能体现一个分类器的实际流量分类效果。因此,如何在保证“流分类准确率”的前提下尽量提高流量分类器的“字节分类准确率”成为基于机器学习网络流量分类中一个值得研究的课题。本文首次将C4.5 cs决策树算法应用到网络流量的分类当中,并根据流量分类这一实际背景给出了一种计算C4.5 cs代价矩阵的方法。相比其他方法,采用C4.5 cs算法的流量分类器具有更高的“字节分类准确率”,适合于不平衡流量的分类。由于网络流特征中存在一些无效特征和冗余特征,本文将特征选择算法引入网络流量的分类当中。结合所使用的分类算法,论文提出了一种结合卡方统计量、C4.5 cs算法和遗传搜索策略的特征选择算法。实验结果证明,在引入了本文特征选择算法之后,C4.5 cs算法分类网络流的速度提高了近2倍。最后,在NetMate和Weka的基础上,我们设计并实现了一个基于C4.5 cs算法的网络流量分类原型系统——NTFCS,并对NTFCS的流量采集器、中心分类器以及数据存储器的主要模块和关键实现技术进行了简要的介绍。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 论文的研究背景和研究意义
• 1.2 国内外研究现状
• 1.3 论文的主要研究内容
• 1.4 论文的组织结构
• 第二章 网络流量分类模型
• 2.1 网络流量分类模型的比较
• 2.1.1 基于端口的网络流量分类模型局限性
• 2.1.2 基于深度包检测（DPI）的网络流量分类模型局限性
• 2.1.3 基于机器学习的网络流量分类模型的优势
• 2.2 基于机器学习的流量分类
• 2.2.1 用于机器学习的流量特征数据
• 2.2.2 网络流的定义
• 2.2.3 机器学习简介
• 2.2.4 基于机器学习的流量分类模型
• 2.3 决策树分类模型
• 2.3.1 决策树表示
• 2.3.2 决策树的构造过程
• 2.3.3 构造决策树的关键步骤
• 2.3.4 决策树的优缺点
• 2.4 本章小结
• 第三章 基于代价敏感决策树的网络流量分类
• 3.1 不平衡网络流量的分类
• 3.1.1 网络流量的不平衡现象
• 3.1.2 不平衡现象对流量分类的影响
• 3.1.3 提高字节分类准确率的方法
• 3.2 基于代价敏感决策树的网络流量分类
• cs算法'>3.2.1 C4.5_cs算法
• cs算法的流量分类'>3.2.2 基于C4.5_cs算法的流量分类
• 3.3 试验以及结果分析
• 3.3.1 实验数据
• 3.3.2 实验评价标准
• 3.3.3 实验及结果分析
• 3.4 本章小结
• 第四章 基于特征选择的C4.5 cs网络流量分类
• 4.1 引入特征选择的必要性
• 4.2 特征选择的基本理论
• 4.2.1 特征选择定义
• 4.2.2 特征选择的基本模型
• 4.2.3 特征选择常用搜索技术
• 4.3 结合卡方统计量、C4.5 cs和遗传算法搜索的特征选择算法
• 4.3.1 采用卡方统计量来去除不相关特征
• 4.3.2 结合C4.5 cs算法与遗传算法的特征寻优
• 4.4 基于C4.5 cs和特征选择的流量分类
• 4.4.1 实验及结果分析
• 4.5 本章小结
• 第五章 网络流量分类原型系统的设计与实现
• 5.1 系统总体设计
• 5.1.1 系统设计
• 5.1.2 流量采集部署
• 5.2 流记录采集器的实现
• 5.2.1 基于NetMate的流记录采集框架
• 5.2.2 网络流特征计算
• 5.2.3 网络流特征输出
• 5.2.4 流记录采集器的配置
• 5.3 中心分类器的实现
• 5.3.1 中心分类器的设计
• 5.3.2 模型训练算法的实现
• 5.4 数据存储的实现
• 5.5 本章小结
• 第六章 总结与展望
• 6.1 论文总结
• 6.2 进一步研究方向
• 参考文献
• 致谢
• 攻读学位期间主要的研究成果