基于CBDF过滤高可用反垃圾邮件系统的设计与实现

论文摘要

随着电子邮件的不断发展,垃圾邮件问题也日益突出。如果垃圾邮件问题得不到妥善解决,电子邮件的进一步发展势必会受到影响。本论文以科技攻关项目（项目编号:03GG-006-021）为研究基础,主要介绍了过滤技术和高可用技术在邮件系统的应用。首先分析了当前国内外的垃圾邮件形势和电子邮件的工作原理。然后,在对Postfix 邮件传输服务的结构体系研究的基础上,设计了一种基于SMTP代理连接的外部过滤系统,并详细阐明了该系统的工作原理和主要功能模块的功能。外部过滤器使用CBDF 算法来实现文本内容的过滤,通过SMTP 代理与Postfix 通讯,使整个系统能够相互协作协同完成垃圾邮件过滤的邮件传输任务。本文还详细介绍和分析了χ2文本检验算法和CBDF 算法,CBDF 算法能直接得出两个文本相似度的分数,根据相似度分数就能推断此邮件是“垃圾邮件”还是“合法邮件”。因此,我采用CBDF算法来实现垃圾邮件的分类识别,并描述了如何应用于此邮件系统中。此外,邮件服务的中断和暂时停机会导致关键性数据丢失和灾难性的后果。并且,要求它足以处理几十万个用户的请求而不能宕机,很少有措施能达到这个程度。从实际方面的因素考虑,系统需要用“廉价”的PC硬件来建造相对简单、容易升级、容错的邮件系统。因此,文章还详细论述了高可用集群的设计,着重介绍了高可用集群技术在邮件服务代理中的应用,实现了主机出现问题从机自动接管的功能。最后,对邮件系统的主要功能,设计相应的测试方案。

论文目录

• 摘要
• Abstract
• 第一章 引言
• 1.1 垃圾邮件及其危害
• 1.1.1 什么是垃圾邮件
• 1.1.2 垃圾邮件的历史
• 1.1.3 垃圾邮件的危害
• 1.2 国内垃圾邮件状况分析
• 1.3 本课题的特点和意义
• 1.3.1 本课题的特点
• 1.3.2 本课题的理论意义和实用价值
• 1.3.3 本人在课题研究中的主要工作
• 第二章 电子邮件的工作原理
• 2.1 电子邮件的发展简介
• 2.2 电子邮件的工作原理
• 2.2.1 电子邮件的格式
• 2.2.2 邮件的传递
• 2.3 SMTP 结构及原理
• 2.3.1 SMTP 的模型
• 2.3.2 SMTP 基本命令集
• 2.3.3 POP 与IMAP
• 2.4 SMTP 的安全缺陷
• 第三章 邮件过滤系统的体系结构
• 3.1 邮件服务器网络部署
• 3.2 系统开发和应用的环境
• 3.2.1 硬件资源
• 3.2.2 软件环境
• 3.3 Postfix 邮件队列
• 3.3.1 Postfix 简介
• 3.3.2 Postfix 总体结构概述
• 3.3.3 Postfix 邮件的流程分析
• 3.3.4 收件/传递系统结构
• 3.4 基于Postfix 的邮件过滤简介
• 3.4.1 Postfix 邮件检测方案
• 3.4.2 After-Queue 内容检测
• 3.4.3 使用外部过滤器的邮件系统设计
• 3.4.4 在Postfix 配置外部过滤器的设置
• 3.4.5 外部过滤信息传递的实现
• 3.4.6 外部过滤器调用shell 脚本
• 3.4.7 外部病毒过滤的设计
• 3.5 Postfix 日志记录
• 3.5.1 Postfix 日志格式
• 3.5.2 记录日志
• 第四章 高可用集群技术
• 4.1 集群概述
• 4.1.1 什么是集群
• 4.1.2 为什么需要集群
• 4.1.3 集群分类
• 4.1.4 集群的特性
• 4.2 高可用集群技术概述
• 4.2.1 什么是高可用性
• 4.2.2 高可用集群
• 4.2.3 高可用性集群的工作方式
• 4.2.4 高可用性集群的网络拓扑结构
• 4.3 高可用集群系统设计
• 4.3.1 系统需求
• 4.3.2 总体架构
• 4.4 利用Heartbeat 实现高可用邮件服务
• 4.4.1 Heartbeat 简介
• 4.4.2 Heartbeat 的安装与配置
• 4.4.3 Heartbeat 软件存在的一些缺陷
• 4.4.4 改进Heartbeat
• 第五章 CBDF 过滤器设计
• 5.1 过滤算法简介
• 5.1.1 支持向量机
• 5.1.2 K-最近邻
• 5.1.3 神经网络方法
• 5.1.4 NB 贝叶斯分类
• 5.2 CBDF 文本分类原理
• 2 检验文本分类简介'>5.2.1 χ²检验文本分类简介
• 2 检验文本分类原理'>5.2.2 χ²检验文本分类原理
• 2 检验文本分类的缺陷'>5.2.3 χ²检验文本分类的缺陷
• 5.2.4 CBDF 方法
• 5.3 基本算法说明
• 5.3.1 n-grams 分解
• 2 检验计算'>5.3.2 χ²检验计算
• 2 检验一对文本集'>5.3.3 χ²检验一对文本集
• 5.3.4 根据CBDF 计算一对文本相似度
• 5.4 CBDF方法的应用
• 第六章系统的测试设计
• 6.1 过滤性能测试设计
• 6.1.1 测试规程
• 6.1.2 结果评测标准
• 6.1.3 测试结果
• 6.2 邮件服务器性能测试
• 6.2.1 邮件服务器性能测试简介
• 6.2.2 邮件服务器性能测试设计
• 6.3 高可用性能测试设计
• 6.4 系统测试设计
• 6.4.1 系统自身测试
• 6.4.2 公共环境中测试
• 第七章 结束语
• 7.1 全文总结
• 7.2 进一步的工作
• 致谢
• 参考文献
• 个人简历
• 研究成果
• 发表论文