基于正则表达式的应用层协议识别技术研究

论文摘要

准确识别网络链路中流量的协议类型,是带宽管理、入侵检测、防火墙、内容审计等应用的基础。传统的协议识别基于端口映射机制实现,但由于采用动态端口通信的协议逐渐增多,该技术准确性已无法满足需求。本论文通过对当前的各种协议识别技术进行深入研究,根据实际应用需求,采用基于正则表达式的协议识别技术。采用正则表达式描述协议应用层数据的特征,通过正则表达式对报文进行深度检测判别协议类型。论文主要包括下列内容:（1）通过对NFA匹配引擎和DFA匹配引擎相关研究的分析比较,选择采用基于DFA的正则表达式报文匹配技术。（2）针对DFA状态转换表存储空间的膨胀,提出转换表的三分压缩法。将转换表拆分成三个表,分别对表中各行和各列大量存在的相同元素进行压缩。通过对L7-filter中协议的正则表达式进行测试,该方法压缩率一般可以达到95%以上。（3）基于正则表达式可匹配的字符串首字符集合,提出一种新颖的分组方法。该方法既可以有效减少DFA的存储空间,又不会对报文的匹配速度造成过大影响。对十三种常用协议进行测试,使用该方法存储空间只为分组前的24.2%。（4）综合考虑准确性、吞吐量、灵活性等因素,设计了软硬件相结合的协议识别系统框架,既便于模式特征的自动编译和快速更新,又可以实现报文的高速检测匹配。（5）实现了一个基于千兆网卡的正则表达式协议识别系统。测试结果表明,该系统可以在千兆的网络链路上实现在线的协议识别。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 课题意义
• 1.3 主要工作
• 1.4 本文结构
• 第二章 相关研究
• 2.1 协议识别技术研究现状
• 2.1.1 基于端口的协议识别
• 2.1.2 基于测度的协议识别
• 2.1.3 基于负载的协议识别
• 2.1.4 协议识别技术比较
• 2.2 正则表达式匹配引擎相关研究
• 2.2.1 正则表达式和有限自动机
• 2.2.2 NFA 匹配引擎研究现状
• 2.2.3 DFA 匹配引擎研究现状
• 2.2.4 NFA 与DFA 匹配引擎比较
• 2.3 本章小结
• 第三章 状态转换表压缩技术
• 3.1 状态转换表三分压缩方法
• 3.1.1 DFA 状态转换表可压缩性分析
• 3.1.2 DFA 状态转换表的三分压缩方法
• 3.1.3 表的存储和查找算法
• 3.1.4 拆分压缩法的优化
• 3.1.5 效果评估
• 3.2 基于首字符集合的模式分组方法
• 3.2.1 单状态机匹配引擎和多状态机匹配引擎
• 3.2.2 协议识别中正则表达式的特点
• 3.2.3 正则表达式双匹配引擎结构
• 3.2.4 效果评估
• 3.3 本章小结
• 第四章 协议识别系统设计与实现
• 4.1 协议识别系统的设计
• 4.1.1 协议识别系统框架结构
• 4.1.2 协议识别网卡总体设计
• 4.2 协议识别系统的关键模块
• 4.2.1 流管理模块
• 4.2.2 协议的模式特征
• 4.2.3 规则配置模块
• 4.2.4 报文匹配模块
• 4.3 系统测试
• 4.3.1 系统吞吐量测试
• 4.3.2 系统准确性测试
• 4.4 本章小结
• 第五章 总结与展望
• 5.1 本文总结
• 5.2 展望
• 致谢
• 参考文献
• 作者在学期间取得的学术成果