网络流量异常实时检测系统的设计与实现

论文摘要

针对高速网络环境下的流量异常诊断技术进行研究。主要是研究高速网络流量的快速采集方法,并采用能够刻画全网络流量视图的流量矩阵作为异常诊断的数据源,利用流量矩阵的时空相关性,从全网络的视角检测异常行为,通过优化算法达到在线实时检测的目标。在此基础上与造成网络异常的网络设备误配置、BGP选路策略的修改、网络故障、网络安全事件、网络升级等事件进行关联分析,定位出网络异常的根源。实时诊断网络异常行为对于保证网络的可靠运行具有重要意义。本文首先采用Linux-Intel架构的PC机在高速网络中实时在线地分析处理异常流信息,并研究一种基于NetFlow的流分析系统。该系统采用分布式结构,将流形成、异常流识别与诊断功能分散到不同的PC机上,并以松耦合的方式整合这些功能。其次,基于网络流量数据进行深入分析,将流量分为趋势流量、异常流量和噪声流量等三种成分,用已知的完整异常列表对流量进行重构。基于设备采集的流量数据构建全网流量矩阵,然后基于流量矩阵提出一种全网络流量异常实时诊断方法（Realtime Detection method of network-wide traffic anomalies,RDA）,克服单链路流量异常诊断方法的局限性。理论分析和试验分析表明,RDA具有较低的时间复杂度和空间复杂度,能够满足实时处理的要求。再次,描述网络设备更新、业务升级、链路切换以及网络攻击等异常事件,在监测网络全局性能变化和异常的基础上,建立二者的时空关联关系,分析出引起网络性能变化的原因。并设计网络异常定位的关键技术,为管理员排查网络异常提供自动化的检测分析手段。最后,基于网络探针并结合NetFlow接收模块来设计实现网络流量异常实时诊断系统。一方面通过网络探针分析过滤网络流量异常特征,另一方面通过采集全网络流量形成流量矩阵,作为异常诊断的数据源。构建分布式的流量采集和分析平台,设计多节点之间的交互协议达到协同工作的目的,从全网络的视角使用RDA进行异常诊断。为网络性能优化和可靠的运行维护提供技术支持。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 研究背景和意义
• 1.2 国内外相关研究现状
• 1.2.1 基于单链路流量的网络异常诊断
• 1.2.2 基于流量矩阵的全网络流量异常诊断
• 1.3 设计目标
• 1.4 论文的主要工作
• 1.5 本文的组织结构
• 第2章 网络流量采集子系统的设计与实现
• 2.1 网络探针
• 2.1.1 CoralReef
• 2.1.2 网络探针的结构
• 2.1.3 流程逻辑
• 2.2 网络探针的性能分析
• 2.3 异常特征提取
• 第3章 全网流量异常实时诊断子系统的设计与实现
• 3.1 流量异常特征分析
• 3.2 RDA方法
• 3.2.1 流量特征分析
• 3.2.2 特征值检测
• 3.3 异常诊断与定位
• 3.3.1 异常诊断定位算法
• 3.3.2 监测代理
• 第4章 网络流量异常实时诊断系统的设计实现
• 4.1 RDA系统体系结构
• 4.2 ANOMALIES流信息提取算法
• 4.3 ANOMALIES流信息统计分析系统的设计
• 4.4 Netflow流接收与实时诊断模块
• 4.4.1 工作流程
• 4.4.2 数据结构
• 4.5 试验分析
• 4.5.1 系统测试环境及方法
• 4.5.2 系统测试结果及分析
• 第5章 总结与展望
• 5.1 论文工作总结
• 5.2 有待进一步研究的问题
• 参考文献
• 致谢
• 学位论文评阅及答辩情况表