基于NetFlow的异常流量检测研究与实现

论文摘要

随着Internet技术的发展,网络结构越来越复杂,网络环境交叉渗透,网络应用越发多样化。由于各种原因引起的网络流量异常现象,不仅会降低网络性能,耗费网络资源,更有甚者可能导致服务提供商不能正常运转,引发业务流失,网络硬件设施瘫痪,造成巨大经济损失。所以准确、快速的定位网络异常流量的时空位置,找出网络异常流量出现的原因对网络运营商、网络用户都具有重要意义。网络异常流量检测算法是快速定位网络异常流量的关键。论文根据是否需要历史检测数据进行学习过程,将网络异常流量检测算法分为先验算法和后验算法两类,并设计实现了K-Means、PCA、信息熵决策树、朴素贝叶斯和基于流量特征等五种典型异常流量检测算法。基于现有典型算法实验分析的基础上,论文提出了基于先验触发的改进型BP神经网络算法（Priori triggered BP neural network algorithm,简称PBP）和基于贝叶斯决策论的算法（Na?ve Bayes Decision theory,简称NBD）。针对后验算法不能自适应学习,先验算法检测精度低,误差大的问题,PBP算法使用K-Means和PCA算法触发自适应的学习过程,使用历史各层神经元参数平均值初始化神经网络,利用学习好的网络进行异常流量检测。实验结果表明,PBP算法可以获得比先验算法高的检测精度、而且可以根据网络环境自适应学习。针对PBP算法学习时间长,收敛速度慢的问题,NBD算法使用风险评估和误差分析触发自适应学习过程,用学习好的贝叶斯概率网络进行异常流量检测,加快了异常检测的反应时间、保证了高精度、低误报率和低漏报率。实验结果表明,NBD算法可以获得比先验算法高的检测精度,且不依赖于网络结构,学习时间短,收敛速度快,适用于大多数网络环境下的异常流量检测。论文在基于Netflow流量数据的基础上,实现了异常流量检测系统。该系统获取Netflow的实时流量数据,经过预处理形成流量初始向量集,然后使用五种经典算法和我们提出的PBP、NBD算法进行异常检测。最后在校园网上对系统进行了实验测试。测试结果表明,该系统有较好的实时性和检测效果,有一定的实际应用价值。

论文目录

• 摘要
• ABSTRACT
• 第一章 前言
• 1.1 课题背景
• 1.2 Netflow 流量数据介绍
• 1.3 异常流量产生的原因
• 1.4 异常流量的表现特征
• 1.5 论文主要工作
• 1.6 论文的组织结构
• 第二章 相关技术研究与分析
• 2.1 流量检测面临问题
• 2.2 流量检测技术研究现状与发展
• 2.3 典型的先验型异常流量检测分类算法介绍
• 2.3.1 基于流量特征的异常流量检测
• 2.3.2 K-Means 异常检测分类
• 2.3.3 PCA 异常流量检测
• 2.3.4 基于信息熵决策树的异常流量检测
• 2.3.5 典型先验算法分析比较
• 2.4 典型的后验型异常流量检测分类算法介绍
• 2.4.1 朴素贝叶斯异常检测
• 2.4.2 神经网络异常检测
• 2.4.3 典型后验算法分析比较
• 2.5 本章小结
• 第三章 PBP：基于先验触发的改进型BP 神经网络算法
• 3.1 算法提出
• 3.2 算法描述
• 3.3 PBP 算法实现
• 3.3.1 算法实现结构
• 3.3.2 触发条件设置
• 3.4 性能评价
• 3.4.1 集成实验测测环境
• 3.4.2 与典型先验算法的性能比较
• 3.4.3 与典型后验算法的性能比较
• 3.5 本章小结
• 第四章 NBD：基于贝叶斯决策论的算法
• 4.1 贝叶斯决策论思想
• 4.2 NBD 算法实现
• 4.2.1 算法实现结构
• 4.2.2 连续概率密度函数和离散化概率计算
• 4.2.3 判定函数和概率误差
• 4.3 性能评价
• 4.3.1 与典型先验算法的性能比较
• 4.3.2 与典型后验算法的性能比较
• 4.4 本章小结
• 第五章 异常流量检测原型系统设计与实现
• 5.1 系统总体框架
• 5.2 系统设计实现
• 5.2.1 系统各功能模块设计
• 5.2.2 实时异常检测模块
• 5.2.3 系统数据库结构
• 5.2.4 系统类图结构
• 5.3 系统测试
• 5.3.1 异常流量展示
• 5.3.2 PBP 算法实验
• 5.3.3 NBD 算法实验
• 5.4 本章小结
• 结束语
• 致谢
• 参考文献
• 作者在学期间取得的学术成果