基于流技术的分布式网络异常检测

论文摘要

近些年来,随着计算机网络的快速发展,网络应用经历了从传统的Web、Ftp、Mail等业务为主导到以P2P为主导的变化,同时伴随着网络流量成倍的增大。这些变化加大了网络管理的难度,尤其是对高速流量的实时处理和对采用动态端口的应用层协议识别方面。如何识别出高速网络流量中包含的异常流量一直是一个具有挑战性的问题,这些异常流量可以是网络攻击,诸如Dos、蠕虫病毒等所产生;也可能是网络的配置变更或失效;以及Flash Crowds等等。及时地识别这些异常流量对网络的正常运营有重要意义,但是仅仅依靠SNMP所提供的信息是不够的,另一方面,网络流量如此之大以至于基于数据包地实时监控变得非常困难。对于此,本文提出了基于流技术的分布式网络异常检测方法。采用分布式结构可以对流量进行负载均衡,同时还可以解决非对称路由等问题。管理的对象不是数据包而是流,流包含了如源、目的IP地址、源、目的端口、流量、传输层协议等等。流由硬件设备以UDP数据包的方式导出,如思科的NetFlow、华为的NetStream等等。在管理端收集流以后,首先进行应用层协议的识别。当前的网络流量P2P占据过半,而P2P又存在私有协议和动态端口的特性,因而流量识别的方法好坏主要取决于对P2P的识别。本文采用的方法是基于流信息的识别,通过对协议进行分类,同一类别的协议存在一些共同的特征,利用这些特征进行识别,然后根据协议类别进行统计得到各类协议的流量时间序列,为异常检测提供支持。传统的异常流量检测方法主要是通过对流量建立一个可信的范围,超过可信范围的流量可视为异常,这种方法容易实现但误报率很高。另一种识别途径就是利用信号分析的有力工具一小波变换进行处理,它是基于这样一个观察,即在发生异常的地方往往伴随着频率的突变。本文采用的方法是基于协议分类的流量和总体流量相结合的方法。基于协议统计的方法无疑比仅仅基于总体流量的方法更为有效,尤其是在对DoS的识别上。在进行异常判定的时候采用小波与时间序列预测同自相关相结合的方法,小波从频域上识别,而后者则在时域内进行识别。基于时间序列的预测方法它考虑到了周期的影响,而基于自相关的方法能对周期内的流量进行有效分析。文中最后给出了基于Darpa1999年数据的实验结果,实验表明,这种异常检测方法是有效的。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 引言
• 1.1 课题背景和意义
• 1.2 国内外研究现状
• 1.2.1 流相关技术的发展
• 1.2.2 应用层协议识别技术
• 1.2.3 分布式异常检测
• 1.2.4 小波变换用于信号分析的现状
• 1.3 本论文的研究工作
• 1.4 章节安排
• 第二章 基于流技术的概念模型
• 2.1 分布式结构的部署
• 2.2 流的收集和均衡
• 2.3 分布式异常检测的结构设计
• 第三章 应用层协议识别
• 3.1 互联网应用及其流量监控概述
• 3.1.1 互联网应用概述
• 3.1.2 P2P流量特性
• 3.1.3 协议识别的意义
• 3.2 协议识别
• 3.2.1 基于端口
• 3.2.2 基于负载
• 3.2.3 基于测度识别协议
• 3.2.4 综合算法
• 3.3 基于NetFlow的协议识别
• 3.3.1 识别方案
• 3.3.2 实验方案
• 3.3.3 实验结果
• 3.3.4 结论
• 第四章 基于协议分析的异常检测
• 4.1 实现方案概述
• 4.2 利用小波变换实现异常检测
• 4.3 基于统计的异常检测
• 4.4 基于流的分布式网络异常检测实验
• 4.5 结果分析和改进
• 第五章 结论
• 5.1 论文工作总结
• 5.2 可以继续的工作
• 致谢
• 参考文献:
• 附录