基于多重识别技术的路由器流量识别系统研究与实现

论文摘要

随着网络技术的发展和普及,网络应用也越来越多样化,P2P、在线音频、网络视频等应用在网络流量中所占的比重越来越大,占用了网络中大量的带宽资源,导致网络的拥塞和服务质量下降,关键业务应用无法得到保证。因此,准确地识别并区分出网络中流量的应用类型,并采取有针对性的控制策略,对于网络规划设计、上网行为管理、服务分类控制、QoS保证等都具有十分重要的作用。宽带路由器则是一种在单一的设备中集成了路由器、防火墙、带宽控制和管理等功能的新兴网络设备,具备快速转发能力和丰富的网络管理能力,是接入网络的桥梁。因此,在做路由转发的同时进行流量识别,进而进行QoS和上网行为管理是非常合适的。它可以使流量识别、安全防护、业务控制、认证计费等功能捆绑在一起协同工作,避免在网络中重复布置防火墙和流控之类的设备,大大降低网络的设备支出成本,简化网络的维护和管理。本文对当前流量识别技术中的核心识别技术—深度报文检测（Deep Packet Inspection,简称DPI）技术和深度流检测（Deep/Dynamic Flow Inspection,简称DFI）技术进行了深入的研究,对比分析了这些识别技术各自的优缺点和应用场合。针对网络流量中主流应用的通信特点,结合工程实践,提出了一种以DPI、DFI识别技术为主,其他识别技术为辅兼顾识别效率和识别精度的多层次、多种技术结合的宽带路由器流量识别架构,该流量识别架构综合运用了多达八种的流量识别/匹配技术,能有效解决P2P应用和加密流量难以识别的难题,经验证在实际网络流量检测应用中具有较高的识别率和很好的稳定性。本文在对流量检测技术的研究过程中重点做了以下几个方面的工作:对深度包检测技术中常用的Wu-Manber多模式匹配算法进行了深入的分析和研究,在此基础上提出了一种改进算法,该改进算法在一定条件下能大幅提升多模式匹配的匹配性能;设计了一种高扩展性的特征表达式描述语言,该描述语言能充分利用网络数据流属性中的报文长度、顺序、方向以及协议类型等要素,有效减少模式匹配次数,提高协议识别效率;通过对P2P类应用的通信方式的深入研究,实现了一种基于节点跟踪的快速流量识别技术,在此基础上创新的设计了一种基于可信列表的启发式反馈识别机制,通过启发和反馈识别技术结合QoS流控能有效抑制P2P多点下载;实现了一种报文深度解析关联识别技术,该技术结合节点跟踪识别技术能实现流量准确预测和快速识别;研究并实现了一种基于主动探测的流量识别技术,通过主动探测技术能实现对加密协议和特征模糊流量的有效识别,有效提升DFI技术识别的精度,该技术对于流量识别技术的发展具有一定的借鉴作用。最后,本文通过相关实验对宽带路由器流量识别系统的性能和功能进行了较为全面的验证、分析和评价。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 研究背景和意义
• 1.2 网络流量检测技术
• 1.2.1 深度数据包检测技术
• 1.2.2 深度数据流检测技术
• 1.3 国内外研究现状
• 1.4 论文主要内容和结构安排
• 2 论文背景知识和相关技术介绍
• 2.1 宽带路由器简介
• 2.2 P2P 技术介绍
• 2.2.1 P2P 定义
• 2.2.2 P2P 发展及现状
• 2.2.3 P2P 技术优缺点
• 2.3 P2P 的NAT 穿越（内网互联）原理
• 2.3.1 NAT 技术原理
• 2.3.2 P2P 的内网互联原理
• 2.4 本章小结
• 3 流量识别主要技术和算法
• 3.1 流量识别的主要技术
• 3.1.1 端口识别法
• 3.1.2 基于特征字匹配的深度包检测识别方法
• 3.1.3 应用层网关识别技术
• 3.1.4 基于流量特征的深度流识别技术
• 3.2 模式匹配算法
• 3.2.1 Boyer-Moorer 模式匹配算法
• 3.2.2 Wu-Manber 多模式匹配算法
• 3.3 本章小结
• 4 基于多重识别技术的路由器流量识别系统设计
• 4.1 路由器流量识别系统的总体架构
• 4.2 流量识别系统工作模型
• 4.3 流量识别系统内部结构
• 4.4 外部调用及初始化流程
• 4.5 系统报文识别流程
• 4.6 报文特征描述语言
• 4.7 Wu-Manber 多模式匹配算法改进
• 4.8 连接跟踪快速匹配
• 4.9 节点跟踪快速匹配
• 4.10 可信列表启发式反馈识别技术
• 4.11 协议深度解析关联识别
• 4.12 主动探测流量识别技术
• 4.13 策略库升级
• 4.14 本章小结
• 5 基于多重识别技术的路由器流量识别系统实现
• 5.1 报文预处理
• 5.2 连接跟踪快速匹配模块实现
• 5.3 节点跟踪快速匹配实现
• 5.4 可信列表启发式反馈识别模块实现
• 5.5 净荷特征字匹配模块实现
• 5.6 报文深度解析关联识别模块实现
• 5.7 基于统计和流特性识别模块实现
• 5.8 主动探测流量识别模块实现
• 5.9 本章小结
• 6 基于多重识别技术的路由器流量识别系统验证
• 6.1 系统运行测试环境
• 6.2 流量识别系统性能测试与分析
• 6.2.1 流量识别系统性能测试
• 6.2.2 性能测试结果分析
• 6.3 流量识别系统功能测试与分析
• 6.3.1 流量识别系统功能测试
• 6.3.2 功能测试结果分析
• 6.4 本章小结
• 7 总结与展望
• 7.1 论文总结
• 7.2 后续工作展望
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文目录
• 工程硕士答辩决议书