基于概要数据结构的异常流量检测方法研究与实现

论文摘要

近年来,随着Internet的飞速发展,面向互联网安全的监测和管理已经成为影响互联网正常应用的重大问题。不同的运营商和管理部门,也相应的建立了不同的互联网安全事件监测系统。但是,由于互联网安全事件的规模性、复杂性和不断更新的特性,导致诸如DDoS攻击、大规模扫描、僵尸网络和蠕虫传播等安全事件层出不穷。网络流量异常指网络中流量不规则地显著变化,如何针对网络上海量数据流进行监测,并对其中的异常进行标定和报警,以及对其进行可视化展现,是对互联网上安全监测的重要手段之一。本文针对国家骨干网络NetFlow数据到达速度快、流量大等特点,引入数据流模型,通过对不同种类攻击原理及造成异常的流量特征分析,提出了一种基于概要数据结构的可溯源的异常流量检测方法,该方法主要是通过概要数据结构记录与某类异常相关的流量特征值,进而应用EWMA时间序列预测模型,计算此特征值的预测量,将其与实际观测值进行比较,最后在二者之间的差异上建立均值方差的统计模型,从而判定异常。论文基于国家骨干网流量数据实现了一个异常流量检测原型系统,完成了对于拒绝服务攻击、网络扫描和短时网络拥塞三种异常流量的检测,以及对于网络流量变化的动态跟踪、安全事件的多维度的可视化展示功能。通过实验验证和原型系统的结果分析表明,本文给出的异常流量检测方法以及实现的原型系统,能够在150MB/S的链路上达到实时处理的要求,且内存开销小,运算简便。其次,算法能够针对多种异常流量同时进行检测,算法具备可扩展性,并且,在实现检测的同时,可以定位IP主机,从而实现可溯源性。这些对于增强全网的安全响应能力、提高安全防护水平具有重要意义。此外,由于该算法是基于网络的异常流量检测,因而能够在攻击发生初期对其进行有效检测,较之基于主机的检测而言,具有更重要的研究和实用价值。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题背景与意义
• 1.2 异常流量检测相关技术
• 1.2.1 数据采集
• 1.2.2 数据处理
• 1.2.3 检测难点
• 1.2.4 发展趋势
• 1.3 论文主要工作
• 1.4 论文结构
• 第二章 常用异常流量检测方法分析
• 2.1 异常流量定义与分类
• 2.1.1 异常流量定义
• 2.1.2 异常分类
• 2.2 攻击分类
• 2.2.1 拒绝服务攻击
• 2.2.2 扫描
• 2.2.3 蠕虫病毒
• 2.2.4 攻击分类分析
• 2.3 具体几种异常检测算法分析
• 2.3.1 广义似然比（Generalized likelihood Ratio）
• 2.3.2 主成分分析法（principle component analysis）
• 2.3.3 非高斯方法
• 2.3.4 时间序列
• 2.4 本章小结
• 第三章 基于概要数据结构的可溯源异常流量检测方法
• 3.1 算法设计
• 3.1.1 数据流模型
• 3.1.2 sketch 概要数据结构以及通用散列函数簇
• 3.1.3 时间序列预测模型
• 3.2 检测原理
• 3.3 检测流程
• 3.3.1 数据记录
• 3.3.2 异常检测
• 3.4 算法分析
• 3.4.1 实时性
• 3.4.2 可溯源性
• 3.4.3 可扩展性
• 3.5 实验结果
• 3.5.1 实验数据
• 3.5.2 测试环境
• 3.5.3 参数分析
• 3.5.4 算法改进
• 3.6 本章小结
• 第四章 异常流量检测原形系统设计与实现
• 4.1 系统总体框架
• 4.2 数据采集模块
• 4.3 数据处理模块
• 4.4 异常检测模块
• 4.5 可视化展示模块
• 4.6 本章小结
• 第五章 总结与展望
• 5.1 结论
• 5.2 下一步工作
• 致谢
• 参考文献
• 作者在学期间取得的学术成果