基于多核处理器的普适性报文捕获技术研究

论文摘要

高速网络时代已经到来,网络安全问题越发重要。作为网络监测的前端,报文捕获技术成为研究的热点之一。传统报文捕获技术在当前千兆甚至万兆的网络条件下早已不能胜任捕包任务,零拷贝技术的出现在很大程度上解决了报文捕获能力差和系统资源消耗高等问题。然而已出现的基于零拷贝技术的报文捕获平台仍存在捕包性能提升有限,可移植性差等缺点。另外,尚没有出现针对多核处理器设计的报文捕获方案,无法充分发挥多核条件下并行计算的优势,浪费了硬件资源。因此,设计一种运行在多核条件下且具有普适性的高性能报文捕获方案,成为报文捕获技术的研究重点。论文结合“IPv4-IPv6融合网络芯片研究与产业化”项目,分析现有的报文捕获相关技术,针对目前零拷贝技术存在的关键环节技术陈旧、专有性强造成的移植困难以及多核条件下的应用等问题,提出并实现了对零拷贝技术的改进方案,具有普适性的零拷贝报文捕获方案和零拷贝技术在多核环境中的应用方案,最后设计并实现了一种基于多核处理器的普适性报文捕获平台。通过对各个方案和报文捕获平台进行性能测试及测试结果分析证明,论文实现的平台在主流硬件配置和软件环境下具有普适性,可充分利用多核资源,进一步提升报文捕获平台的报文捕获能力,同时降低内存占用和CPU使用率。概括起来,主要工作如下:1.提出并实现了对零拷贝技术的改进方案。分析了传统报文捕获技术的工作原理和零拷贝报文捕获平台的实现机制,并根据快速捕包的要求,对四个主要方面进行修改和完善:DMA映射需要预先分配报文缓冲区,改变用户态下静态分配缓冲区的方法,在内核态下动态分配缓冲区供DMA映射使用,减少了原方案对内存的消耗和浪费;改变零拷贝技术中内存映射依靠页面失效处理机制的方法,直接通过函数vminsertpage（）向用户空间提交物理页面,减少上下文切换;不再自行设计同步机制,利用网卡支持的描述符环结构,软件程序和硬件设备按照预定的读写规则完成用户程序和网卡硬件的数据同步;摒弃实现复杂的用户程序轮询引擎,利用NAPI和网卡的中断节制,设计了一种中断缓和机制,有效解决了中断湮没问题。2.提出并实现了普适性零拷贝报文捕获方案。对部分零拷贝平台的专有性进行了分析,通过对Linux标准内核中网络处理流程和NAPI机制的研究,找到了网络数据处理流程中的关键环节。直接修改标准内核,改变传统的数据通路,在内核中完成零拷贝工作。以不修改网卡驱动为前提,实现了零拷贝技术的普适性。论文设计了普适性的零拷贝模块,并给出了详细的实现过程。3.针对多核处理器提出并实现了零拷贝技术在多核环境中的应用方案。用户模块和内核模块分别对CPU核进行绑定操作,初始化每个CPU核,并为其分配专有的数据区,最终达到调度和控制CPU核的目的。对SMP结构下的NAPI机制进行改进,提出了一种中断负载分配切换机制,缓解了中断亲和性和中断任务迁移的矛盾,提高了多核条件下NAPI机制的工作效率。在内核态下创建多线程程序,并发执行完成对多CPU核的内存映射及数据同步。4.设计并实现了一种基于多核处理器的普适性报文捕获平台,并对各个方案和报文捕获平台进行性能测试,给出了测试分析结论。设计了报文捕获平台的总体结构,对构成平台的中断控制模块、多核绑定模块、内存映射模块和同步模块进行说明,并介绍了平台的工作流程。搭建测试环境,在两种硬件配置下对论文所提方案和实现平台进行测试。测试结果表明,报文捕获平台可以顺畅地工作在两种不同硬件环境下,捕包性能接近线速处理的能力,均衡了中断任务负载,CPU使用率和内存占用较已出现的零拷贝平台更低,验证了理论研究和方案实现的有效性和正确性。

论文目录

• 表目录
• 图目录
• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.2.1 国外研究现状
• 1.2.2 国内研究现状
• 1.3 研究思路与章节安排
• 第二章 报文捕获技术分析
• 2.1 引言
• 2.2 传统报文捕获技术分析
• 2.2.1 Libpcap 机制分析
• 2.2.2 Libpcap-mmap 机制分析
• 2.2.3 Libpcap 数据包捕获机制分析结论
• 2.3 基于零拷贝的报文捕获技术分析
• 2.3.1 零拷贝技术分析
• 2.3.2 部分零拷贝报文捕获平台实现机制分析
• 2.4 问题的提出
• 2.5 本章小结
• 第三章 基于改进型零拷贝的报文捕获技术研究
• 3.1 引言
• 3.2 基于改进型零拷贝的报文捕获方案设计
• 3.3 关键技术研究与实现
• 3.3.1 DMA 映射方法的改进
• 3.3.2 内存映射的设计与实现
• 3.3.3 同步机制的解决方案
• 3.3.4 中断湮没的解决办法
• 3.4 本章小结
• 第四章 普适性零拷贝报文捕获技术研究
• 4.1 引言
• 4.2 部分零拷贝平台的专有性举例分析
• 4.2.1 通用型硬件配置的零拷贝平台
• 4.2.2 专用型硬件配置的零拷贝平台
• 4.2.3 分析结论
• 4.3 普适性零拷贝报文捕获方案设计
• 4.4 关键技术研究与实现
• 4.4.1 NAPI 机制研究
• 4.4.2 Linux 标准内核网络处理分析
• 4.4.3 普适性零拷贝模块结构设计
• 4.4.4 主要实现过程
• 4.5 本章小结
• 第五章 基于多核处理器的零拷贝报文捕获技术研究
• 5.1 引言
• 5.2 基于多核处理器的零拷贝报文捕获方案设计
• 5.3 多核绑定技术的研究与实现
• 5.3.1 用户程序对CPU 核的控制
• 5.3.2 内核程序对CPU 核的控制
• 5.4 多核条件下的零拷贝技术应用研究
• 5.4.1 支持SMP 系统中NAPI 机制的改进
• 5.4.2 零拷贝关键技术的多线程应用
• 5.5 本章小结
• 第六章 报文捕获平台的实现与性能测试
• 6.1 功能需求与设计思想
• 6.2 平台总体结构及构成模块
• 6.2.1 平台总体结构设计
• 6.2.2 模块功能介绍
• 6.3 平台的工作流程
• 6.3.1 系统初始化流程
• 6.3.2 平台捕包处理流程
• 6.4 报文捕获平台的安装
• 6.4.1 Linux 内核编译
• 6.4.2 平台的安装与配置
• 6.5 性能测试
• 6.5.1 测试环境与参数设置
• 6.5.2 测试内容与结果
• 6.5.3 测试结果分析
• 6.6 本章小结
• 结束语
• 主要研究成果
• 工作展望
• 参考文献
• 作者简历 攻读硕士学位期间完成的主要工作
• 一、作者简历
• 二、攻读硕士学位期间发表和完成的学术论文
• 三、攻读硕士学位期间的科研情况
• 致谢