高速网络中面向应用的IP流研究

论文摘要

网络流量监控是网络管理和网络运营的重要技术手段。通过对网络数据的测量、分析、建模,网络运营商可以深入了解网络流量的组成、业务的发展变化、用户的行为规律以及网络业务质量,对网络规划、网络运营、网络安全、QoS保障和价值评估等都有重要而深远的意义。目前,网络应用越来越多样化,P2P、VoIP、流媒体、即时通信、网络游戏等各类新兴业务蓬勃发展,对网络提出了越来越高的带宽和质量要求。其中,以P2P技术为主导的下载类、视频类、聊天类和游戏类业务更是向传统的网络监测技术提出了挑战,动态端口、端口伪装、私有协议、数据加密、NAT穿越等隐匿技术给业务识别和流量分析造成了极大的困难。P2P网络本身潜在的安全和版权问题,以及对各种资源尤其是带宽资源的滥用,受到各类网络运营商的高度重视。为保证网络带宽利用的公平性和保护合法版权,需要对其进行识别分类并采取措施进行限制和控制。另一方面,由于网络“管道化”趋势严重,网络运营商不断增加投资进行网络扩容,但是却难以分享增值业务带来的收入,形成“增量不增收”的尴尬局面。竞争环境的变化促使网络运营商必须对网络流量进行精细化的分析和控制,提供差异化的服务和精确营销。如何高效、准确、实时的识别网络流量,归纳用户和业务的行为规律,是运营商和研究者关注的首要问题。本文研究的课题正是围绕网络流监测技术和网络业务识别技术两个基本的问题展开的。网络流监测主要解决流量的采集、统计、上报和分析,了解网络的运行情况和历史趋势。网络业务识别主要解决业务可视化和合理分类的问题,并结合用户行为挖掘网络价值。本文主要研究内容和创新包括：(1)面向业务和质量的流监测传统的以Netflow为代表的网络流技术只能提供网络层和传输层的流量信息,缺乏应用层和质量指标方面的信息,无法满足目前网络运营商对用户、业务、质量等深层次的分析要求。本文提出了一种新的流记录定义,在兼容NetFlow信息的基础上增加了应用类型、质量指标等相关属性,能够满足面向用户和应用的分析需求。设计和实现了这种流记录的生成设备。(2)业务和应用的多特征综合识别方法对于使用周知端口、特征指纹、协议解析和流统计特征等进行业务和应用识别都已经有了大量的研究成果。每种方法都存在其合理性和局限性,而业务识别是一个综合的体系,需要充分利用应用交互的整个过程,包括每个流、每个报文甚至每个字节的全量信息。本文基于上述各种特征,综合DPI、DFI技术,提出了一种基于优先级的业务和应用识别方法。此方法将单流和多流信息、报文序列、报头字段和净荷内容,以及流统计特性进行动态关联,并采用权重和优先级仲裁机制,以五元组流为对象持续调整流所属的业务分类,大大提高了业务分类的识别率和准确性。同时,又研究和设计了在高速链路复杂环境下的实现方法,并在所研制设备中成功使用。(3)基于现网数据的P2P流媒体流量特征研究对于P2P流媒体的流量特征已经进行了大量研究。本文使用从国内某大城市某基础运营商网络出口(8×10G POS链路)采集的原始数据,对目前最主流的五种P2P流媒体应用,分析了它们的协议分布、流长、序列模式和包长分布等,获得了相关的实验统计模型,得到了一组在高速网络环境下比较实用的流统计特征,设计了利用己知业务流进行训练和提取上述特征的方法。现场使用证明：所述方法能够很好地用于识别经过加密的未知P2P流媒体应用。(4) 10Gbps高速接口的监控系统以面向应用和质量的流记录为基础,以综合的业务识别算法为核心,领导设计并研制了用于10Gbps高速链路的串接型流量监控系统。该系统支持10Gbps线速的双向报文转发处理能力,可以识别包括几十种P2P应用在内的各种主流网络应用协议。通过纯硬件的探针设备可以实现用户、业务、网络、流向和质量的分析和控制,基于新一代的流记录输出、报文过滤镜像和令牌桶流控技术,实现了运营商对网络和用户的行为分析,业务差异化和异常流量控制。系统采用了分布式、分层模块化、可伸缩扩展的体系架构,己成功商用并广泛部署在运营商的各级骨干网络,收集了大量的网络、用户和业务信息数据,为运营商提供高效和可扩展的流量监控平台。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 背景
• 1.2 互联网业务发展的挑战与机遇
• 1.2.1 网络信息安全问题
• 1.2.2 新业务对监管的挑战
• 1.2.3 新业务对运营的挑战
• 1.2.4 新业务发展带来的机遇
• 1.3 网络管理和测量技术
• 1.3.1 网络管理
• 1.3.2 网络测量
• 1.4 网络流量监测需求
• 1.5 网络流量监控面临的问题
• 1.6 论文主要工作及贡献
• 1.7 论文结构
• 第二章 面向应用的IP流网络监测
• 2.1 流监测需求
• 2.2 什么是"流"
• 2.3 流技术综述
• 2.3.1 SNMP和MRTG
• 2.3.2 xFlow技术
• 2.3.3 Netflow
• 2.3.4 sFlow
• 2.3.5 IPFIX
• 2.4 流性能指标
• 2.4.1 时延
• 2.4.2 丢包率
• 2.4.3 通过率
• 2.4.4 链路利用率
• 2.4.5 可用性
• 2.4.6 测量模型
• 2.5 流记录应用
• 2.5.1 网络规划
• 2.5.2 流量计费
• 2.5.3 安全监测
• 2.5.4 应用实例
• 2.6 流记录格式
• 2.7 传统流存在的问题
• 2.8 新一代流记录
• 2.8.1 双向流改造
• 2.8.2 网内和网外
• 2.8.3 服务器位置
• 2.8.4 时延测量
• 2.8.5 重传和丢包统计
• 2.8.6 流超时机制
• 2.9 流记录数据
• 2.10 IP流监测系统设计
• 2.10.1 IP流采集服务器
• 2.10.2 中心分析服务器
• 2.10.3 流量分析软件
• 2.11 本章小结
• 第三章 DPI/DFI业务识别与分类
• 3.1 P2P技术综述
• 3.1.1 P2P技术特点
• 3.1.2 P2P组织结构
• 3.2 P2P业务软件
• 3.2.1 BitTorrent
• 3.2.2 eMule
• 3.2.3 Thunder
• 3.2.4 Skype
• 3.3 业务识别技术
• 3.3.1 基于周知端口的业务识别
• 3.3.2 基于特征指纹的业务识别
• 3.3.3 基于协议解析的业务识别
• 3.3.4 基于流统计特征的业务识别
• 3.4 DPI技术实现
• 3.4.1 模式匹配
• 3.4.2 FPGA匹配
• 3.4.3 TCAM算法
• 3.4.4 Bloom Filter
• 3.5 综合的业务识别方法
• 3.5.1 业务分类机制
• 3.5.2 特征指纹识别
• 3.5.3 协议解析和状态机
• 3.5.4 IP+Port模块
• 3.5.5 流统计特性
• 3.6 本章小结
• 第四章 P2P流媒体业务特征分析
• 4.1 P2P流媒体介绍
• 4.2 P2P流媒体应用
• 4.2.1 PPTV（PPLive）
• 4.2.2 PPS（PPStream）
• 4.2.3 QQLive
• 4.3 DFI技术与机器学习
• 4.4 单机业务行为分析
• 4.4.1 流长度分布统计
• 4.4.2 单连接报文长度
• 4.4.3 净荷长度分布统计
• 4.5 网络业务行为分析
• 4.5.1 协议和业务组分
• 4.5.2 长短流分布分析
• 4.5.3 C4.5决策树分类
• 4.5.4 流统计特征分类
• 4.5.5 属性特征选择
• 4.6 现网使用效果
• 4.7 本章小结
• 第五章 高速网络监控系统
• 5.1 流量监控系统架构
• 5.1.1 硬件探针设备
• 5.1.2 数据采集层
• 5.1.3 数据挖掘和业务应用层
• 5.2 监控系统主要功能
• 5.2.1 业务识别
• 5.2.2 用户定义
• 5.2.3 流量统计
• 5.2.4 流量控制
• 5.2.5 用户行为分析
• 5.2.6 网站和业务喜好分析
• 5.2.7 运营商间流量分析
• 5.2.8 重点业务分析
• 5.3 现网流量分析数据
• 5.3.1 链路流量分析
• 5.3.2 业务组分分析
• 5.3.3 典型端口分析
• 5.3.4 报文长度分析
• 5.3.5 主机和连接模式
• 5.3.6 流量流向分析
• 5.4 本章小结
• 结束语:总结与展望
• 参考文献
• 附录:缩写词说明
• 致谢
• 攻读学位期间发表的学术论文目录