分布式网络流量数据分析与管理技术研究与实现

论文摘要

随着互联网的迅猛发展,网络管理已变得日益重要。流量监测和统计分析是整个网络管理的基础。为了实现对网络进行综合管理,有必要及时全面的收集、管理网络的流量信息,准确获取网络流量数据,对网络流量态势进行分析,对网络健康状况及未来的发展趋势作出准确判断。网络流量分析一直是通信网络性能分析的一个极其重要的问题。但是目前大部分网络及流量监控都是针对单个或局部链路进行的,然而,当今网络研究者面临的更重要的问题是需要同时对网络所有链路的流量进行建模和分析,包括流量矩阵的估算。针对当前大部分网络流量矩阵估算方法都是采用单一的SNMP链路负载或抽样的NetFlow数据,本文提出一种综合利用多个数据源进行流量矩阵估算的方法。算法将SNMP链路负载与抽样的NetFlow数据结合作为相互纠错码,并设计过滤这两种数据源中的脏数据,从而进行更为精确地流量矩阵估算。同时本文也设计了在单数据源情况下,已知网络的拓扑结构和链路流量,通过期望最大化算法对网络OD对之间的流量需求进行估计。论文使用校园网为实验环境采集数据对本文提出的几种算法进行评估,并与tomogravity、generalized gravity model方法进行比较,实验结果证明了本文提出的算法在进行估算时具有更高的准确性。同时本文结合网络综合态势管理技术的需求,设计了流量态势管理系统的体系结构,完成了原型系统的设计与实现。对流量采集、数据接收、数据传输、流量分析、以及数据的存储与管理等五个功能模块进行了详细的设计;提出了基于OD流的流量分析架构,采用四种相应的算法完成了流量数据的分析,实现了确定网络中关键链路、瓶颈节点、识别大象流以及判定异常流这几种态势分析;设计了流量数据库完成了对大规模流量原始数据以及各种态势分析数据的管理。论文以校园网为实验环境采集真实的网络流量数据,针对本文提出的系统架构,设计的各个功能模块,根据数据的处理流程对整个原型系统进行了功能测试和性能分析。综上所述,本文的工作针对分布式网络流量数据的分析与管理技术提出了有效的解决方案,具有一定的理论价值和应用价值。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题背景
• 1.2 课题研究的内容和意义
• 1.2.1 网络流量与网络体系结构
• 1.2.2 网络流量与网络性能
• 1.2.3 网络流量与网络安全
• 1.3 论文的主要工作
• 1.4 论文的组织结构
• 第二章 相关技术研究
• 2.1 网络流量监测技术
• 2.1.1 主动监测
• 2.1.2 被动监测
• 2.2 网络数据流采集技术
• 2.2.1 基于SNMP 的数据流采集
• 2.2.2 基于包嗅探法的数据流采集
• 2.2.3 基于NetFlow 的数据流采集
• 2.2.4 三种流采集方法的分析和比较
• 2.3 流量矩阵估算的研究现状
• 2.3.1 重力模型
• 2.3.2 统计推断
• 2.3.3 最优化技术及路由变化
• 2.3.4 第三代方法
• 2.3.5 独立连接模型
• 2.4 本章小结
• 第三章 基于多数据源的网络流量矩阵估算方法
• 3.1 问题的描述
• 3.2 相关研究
• 3.3 算法设计目标
• 3.4 算法主要思想
• 3.4.1 去除脏数据
• 3.4.2 流量矩阵的估算
• 3.5 算法有效性评估
• 3.6 本章小结
• 第四章 网络流量态势管理原型系统设计与实现
• 4.1 系统总体架构
• 4.1.1 系统物理视图
• 4.1.2 系统处理视图
• 4.2 基于OD 流的流量分析架构
• 4.2.1 流量采集模块
• 4.2.2 数据接收模块
• 4.2.3 数据传输模块
• 4.2.4 流量分析模块
• 4.2.5 数据存储与管理模块
• 4.3 流量分析模块详细设计
• 4.3.1 确定网络关键链路
• 4.3.2 确定网络瓶颈节点
• 4.3.3 识别大象流
• 4.3.4 判断异常流
• 4.4 数据存储与管理模块详细设计
• 4.4.1 流量数据库设计
• 4.4.2 流量数据库的管理
• 4.4.3 流量态势事件库的设计
• 4.5 本章小结
• 第五章 系统测试与分析
• 5.1 测试环境
• 5.2 流量监测服务的实现
• 5.2.1 实时流量监测服务测试
• 5.2.2 流量应用统计测试
• 5.3 流数据分析模块
• 5.4 测试结果分析
• 5.5 本章小结
• 第六章 结束语
• 6.1 全文工作总结
• 6.2 未来工作展望
• 致谢
• 参考文献
• 作者在学期间取得的学术成果