基于Flow的网络流量测量系统研究

论文摘要

“三网融合”是指电信网、计算机网、有线电视网的一体化运营，即传统的电信网，计算机网和广电网络的业务相互融合与渗透。“三网融合”应用的推广，为我国现有网络资源的整合与竞争提供了有力支持。为了满足数字电视交互业务和数据通信业务的要求，提高广电网络在“三网融合”业务中的竞争能力，广电集团通常要对现有的单向HFC网络进行改造，建立基于IP网的双向网络系统。本文以湖南广电集团的双向网络改造项目为背景，研究了面向广电行业的流量管理技术和管理系统的开发。流量管理是网络性能管理的重要内容。在IP网络中，传统的流量管理采用SNMP方式。SNMP方式基于端口采集数据，利用这些数据来分析网络流量和设备的性能，但是利用这些数据无法准确获得端到端的流量信息，从而不能解决流量的构成问题。为了能够同时解决流量的分布与构成问题，本文采用基于Flow的网络流量分析技术，实现对流量的不同层面的深入监测。主要研究内容包括：针对流量采集，本文通过对基于SNMP、Flow技术等几种流量采集方式的研究与分析，提出了多模式的流量采集方式。针对提供了NetFlow、sFlow等私有流数据输出的网络，本文利用NetFlow、sFlow等相应接收组件采集流数据，而针对没有提供特定流数据输出的网络，本文利用基于Libpcap的报文级流量捕获组件对数据进行采集。针对流量分析，本文总结了TCP/IP网络结构以及在该种结构下的流量分析原理。通过对Flow的自定义，即具有相同的源与目的地址的所有报文，实现对NetFlow等私有流数据以外的流量的处理分析。随后通过研究各种报文分类算法，提出了基于Flow的哈希算法。该算法以传统的哈希算法为基础，利用流的局部性原理，实现对报文的快速分流。在设计实现时，完成了基于Flow的哈希算法设计与流量数据处理方法设计等。在上述网络流量采集与分析技术的研究基础上，利用C作为开发语言，本文实现了基于Flow技术的流量测量系统。系统采用B/S结构，主要由流量采集模块、流量分析模块等几部分组成。其中采集模块负责针对不同的网络环境进行流量采集，分析模块负责对报文的分流以及对流量数据的统计分析。通过系统测试和试运行，本文实现的系统能够较好的完成对网络流量的统计分析。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 论文研究背景和意义
• 1.2 相关领域研究现状
• 1.2.1 SNMP 流量测量技术
• 1.2.2 基于报文捕获的流量分析方法
• 1.2.3 Flow 数据测量技术
• 1.3 本文研究内容
• 1.4 论文的章节介绍
• 2 流量采集技术研究
• 2.1 SNMP 流量采集技术
• 2.2 报文捕获技术
• 2.3 Flow 数据采集技术
• 2.4 多模式流量采集
• 2.5 本章小结
• 3 流量分析技术研究
• 3.1 网络流量分析的理论基础
• 3.2 基于 Flow 的流量分析
• 3.3 报文分类算法
• 3.3.1 RFC 算法
• 3.3.2 Cross-Product 算法
• 3.3.3 Trie 树结构算法
• 3.3.4 Hash 算法
• 3.4 基于 Flow 的哈希算法
• 3.5 本章小结
• 4 系统的设计与实现
• 4.1 系统功能设计
• 4.2 系统总体架构设计
• 4.3 流量数据采集及存储
• 4.3.1 报文捕获组件设计
• 4.3.2 数据存储
• 4.3.3 Flow 数据接收组件设计
• 4.4 数据分析模块设计
• 4.4.1 抽样分析方法设计
• 4.4.2 基于流的哈希算法设计
• 4.4.3 流量数据处理方法设计
• 4.5 Web 界面设计
• 4.6 主要功能代码实现
• 4.6.1 报文捕获
• 4.6.2 报文解析
• 4.7 主要功能实现界面
• 4.7.1 流量信息汇总
• 4.7.2 基础协议流量分析
• 4.7.3 IP 协议流量分析
• 4.8 本章小结
• 5 总结与展望
• 5.1 本文的内容总结
• 5.2 下一步要做的工作
• 参考文献
• 攻读学位期间发表文章
• 致谢