基于透明网桥的垃圾信息防火墙软件系统设计与实现

论文摘要

信息社会中,网络是一种主要的信息发布通道,但是海量的垃圾信息肆掠的占有有限的带宽。虽然当今过滤垃圾手段繁多,但现有解决方案大多依附于服务器或客户端软件,通用性和过滤效果都不甚理想,如何建立一个统一、高效的垃圾信息过滤架构是当今反垃圾信息技术的一个重要研究内容。本文主要的研究内容及创新有如下两个方面:(1)研发出一种可扩展的基于透明网桥的垃圾信息防火墙系统。该系统创新性的利用透明网桥技术、iptables、netfilter搭建一个实时过滤系统。将网络中相关垃圾信息进行扣留,然后模拟网络协议栈,完成IP层(分片处理)、TCP层(数据流重组)和应用层的协议分析还原,得到完整的信息,利用双缓冲队列保存信息,采用多线程调度机制并行调用过滤算法进行判断。根据判断结果对相关数据包进行转发或丢弃,从而达到实时过滤垃圾信息的目的。(2)提出了一个基于行为过滤的垃圾信息过滤算法。系统创新性的将支持向量机理论用于垃圾信息的行为过滤,并实现了规则匹配过滤和改进的bayes过滤算法。系统的可扩展性很好,用户可以根据具体需要定义系统过滤的协议类型,同时也能在引擎上扩展更优秀的过滤算法。本系统独立于服务器和客户端,既不运行在服务器上,也不作为客户端的一个插件,而是部署在服务器前端。由于采用透明网桥方式,所以不为服务器所知。在垃圾信息到达服务器之前,进行实时过滤。从而降低服务器负载,也保护了客户端。同时服务器的功能模块采用“热插拔”形式,通过web可以远程控制系统所在主机,修改其配置文件,达到增加和减少功能模块的目的,系统检测到配置文件改变后,自动更新。同时系统支持在线升级,当有新的规则发布时,监听进程会自动下载规则文件,并且自动更新系统规则,不用重启,立即生效。系统通过配置,当部署在邮件服务器前端时,作为垃圾邮件防火墙,当部署在短信服务器前端时,作为垃圾短信防火墙,当部署在web服务器前端时,作为垃圾网页防火墙。该系统首先在实验室通过了试用,然后在北京华为进行了技术审核和试用,收到了不错的反馈。

论文目录

• 中文摘要
• ABSTRACT
• 第一章 引言
• 1.1 课题的背景
• 1.2 课题研究意义
• 1.3 作者主要工作和创新点
• 1.4 论文章节安排
• 第二章 垃圾信息过滤及相关技术分析
• 2.1 垃圾信息概述
• 2.1.1 垃圾邮件的概念及类型
• 2.1.2 垃圾短信的概念及类型
• 2.1.3 垃圾网页的概念和类型
• 2.1.4 垃圾信息的危害
• 2.2 垃圾信息过滤相关技术分析
• 2.2.1 现有的垃圾信息过滤技术
• 2.2.2 现有的反垃圾信息过滤技术的局限性
• 2.2.3 透明网桥技术的引入
• 2.3 LINUX 系统中网络协议栈、防火墙及透明网桥技术分析
• 2.3.1 LINUX 网络协议栈
• 2.3.1.1 关键数据结构介绍
• BUFF 及其相关操作'>2.3.1.2 SK_BUFF 及其相关操作
• 2.3.1.3 内核协议栈的接口程序结构
• 2.3.2 LINUX 防火墙机制
• 2.3.2.1 LINUX 防火墙概述
• 2.3.2.2 IPv4 钩子点
• 2.3.3 LINUX 透明网桥技术
• 2.3.3.1 网桥
• 2.3.3.2 透明网桥
• 2.3.4 LINUX 用户态和内核态通信
• 2.3.4.1 进程通信方式介绍
• 2.3.4.2 NETLINK
• 2.3.4.3 使用NETLINK 搭建透明网桥和应用程序之间的通信
• 2.4 小结
• 第三章 基于透明网桥的垃圾信息防火墙系统设计
• 3.1 系统需求描述
• 3.1.1 系统功能需求
• 3.1.2 系统性能需求
• 3.2 垃圾信息防火墙系统的系统部署
• 3.2.1 系统部署详细介绍
• 3.2.2 系统不同角色的转变
• 3.3 系统框架
• 3.3.1 系统功能模块划分
• 3.3.2 系统总体处理流程设计
• 3.4 系统平台设计
• 3.4.1 系统硬件平台设计
• 3.4.2 系统软件平台设计
• 3.5 底层引擎模块功能及处理流程设计
• 3.5.1 数据包重定向模块功能及处理流程设计
• 3.5.2 接收和回注IP 包模块功能及处理流程设计
• 3.5.3 协议分析模块功能及处理流程设计
• 3.5.3.1 IP 分片重组
• 3.5.3.2 TCP 数据流重组
• 3.5.3.3 应用层协议分析
• 3.5.4 多线程调度分析模块功能及处理流程设计
• 3.6 垃圾邮件过滤子系统功能及处理流程设计
• 3.6.1 攻击防护模块功能及处理流程设计
• 3.6.2 黑白名单检查模块功能及处理流程设计
• 3.6.3 基于行为过滤模块功能及处理流程设计
• 3.6.3.1 邮件特征提取设计
• 3.6.3.2 向量优化设计
• 3.6.3.3 获取训练模型的设计
• 3.6.3.4 邮件分类的设计
• 3.6.4 群发工具识别模块功能及处理流程设计
• 3.6.5 邮件规则过滤模块功能及处理流程设计
• 3.6.6 邮件分词模块功能及处理流程设计
• 3.6.7 统计分析模块功能及处理流程设计
• 3.6.8 附件查毒模块功能及处理流程设计
• 3.7 垃圾短信过滤子系统功能及处理流程设计
• 3.8 垃圾网页过滤子系统功能及处理流程设计
• 3.8.1 网页规则过滤模块功能及处理流程设计
• 3.8.2 网页文件查毒模块功能及处理流程设计
• 3.9 用户管理子系统（系统界面） 功能及处理流程设计
• 3.9.1 系统配置模块功能及处理流程设计
• 3.9.2 日志分析模块功能及处理流程设计
• 3.10 数据库设计
• 3.11 小结
• 第四章 基于透明网桥的垃圾信息防火墙系统实现
• 4.1 底层引擎模块实现
• 4.1.1 数据包重定向模块实现
• 4.1.2 接收和回注IP 包模块实现
• 4.1.2.1 接收数据包
• 4.1.2.2 回注数据包
• 4.1.3 协议分析模块实现
• 4.1.3.1 IP 分片处理
• 4.1.3.2 TCP 数据流重组
• 4.1.3.3 smtp 协议分析
• 4.1.4 多线程调度分析模块实现
• 4.1.4.1 双缓冲队列的实现
• 4.1.4.2 调度线程的实现
• 4.1.4.3 工作线程的实现
• 4.2 垃圾邮件过滤子系统及功能模块实现
• 4.2.1 攻击防护模块实现
• 4.2.1.1 IP 地址的实时提取
• 4.2.1.2 链表的实现
• 4.2.1.3 链表的定时检查实现
• 4.2.2 黑白名单检查模块实现
• 4.2.2.1 IP 用户自定义黑名单实现
• 4.2.2.2 在线黑白名单访问实现
• 4.2.3 基于行为过滤模块实现
• 4.2.4 群发工具识别模块实现
• 4.2.4.1 群发特征库的实现
• 4.2.4.2 字段信息提取
• 4.2.4.3 特征库链表的实现
• 4.2.4.4 单字段检查实现
• 4.2.4.5 字段组合检查实现
• 4.2.5 邮件规则过滤模块实现
• 4.2.5.1 规则更新
• 4.2.5.2 规则匹配打分
• 4.2.6 邮件分词模块实现
• 4.2.6.1 邮件MIME 格式解析方法
• 4.2.6.2 邮件体中英文分词的实现
• 4.2.6.3 附件中英文分词的实现
• 4.2.7 统计分析模块实现
• 4.2.8 附件查毒模块实现
• 4.3 垃圾短信过滤子系统及功能模块实现
• 4.4 垃圾网页过滤子系统及功能模块实现
• 4.4.1 网页规则过滤过滤模块实现
• 4.4.2 网页文件查毒模块实现
• 4.5 用户管理子系统及功能模块实现
• 4.6 小结
• 第五章 垃圾信息防火墙系统的测试
• 5.1 测试环境搭建
• 5.2 垃圾信息防火墙系统的配置
• 5.3 测试方案及统计数据
• 5.3.1 系统识别邮件的准确率
• 5.3.2 系统识别短信的准确率
• 5.3.3 系统分析垃圾信息的效率测试
• 5.4 小结
• 第六章 结论
• 6.1 全文总结
• 6.2 下一步工作
• 参考文献
• 致谢
• 攻硕期间取得的研究成果