进化计算在反垃圾邮件系统中的应用研究

论文摘要

在网络使用日益频繁的今天,电子邮件逐渐成为人们相互交流的主要工具。但是,越来越多的垃圾邮件却占用大量网络带宽,影响了正常邮件的传输,给人们的日常生活带来诸多不便。在人们不断抵制垃圾邮件的同时,垃圾邮件的外延也在不断的扩展,包含了病毒、蠕虫、特洛伊木马的邮件也进入了垃圾邮件的范畴。垃圾邮件发送技术、病毒蠕虫的传染技术、各种入侵技术相互配合,使得垃圾邮件本身越来越呈现出隐秘性、多元化和整合化的态势。而对于特征不断变异的垃圾邮件,传统的反垃圾邮件的方法显得力不从心,因此研究并设计出能够适应垃圾邮件技术日新月异的一种过滤算法显得尤为重要。具有“自适应、自组织、自学习”等特点的进化思想算法为我们研究特征日益变化的垃圾邮件提供了一个重要的方向。本文主要完成的工作是:在研究了目前反垃圾邮件技术中,具有进化思想的贝叶斯算法和人工免疫算法的基础上,设计并实现了反垃圾邮件算法的测试平台,以及人工免疫的反垃圾邮件算法和贝叶斯算法。最后利用CCERT语料库,在测试平台上对两种算法进行了测试,测试分为算法的单独测试和算法的横向测试。纵向测试主要针对人工免疫算法的参数调整测试,其实验结果说明,人工免疫算法中淋巴细胞的个数越多,并不代表垃圾邮件的识别率越高,而算法中,阀值趋于0.34时,垃圾邮件的识别率最高。横向测试主要针对人工免疫算法和贝叶斯算法性能比较,实验结果表明,人工免疫算法比贝叶斯算法在适应性、稳定性和正确识别率等方面具有更大的优势。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 引言
• 1.1.1 垃圾邮件的定义
• 1.1.2 垃圾邮件的危害
• 1.2 垃圾邮件的现状
• 1.2.1 国内现状分析
• 1.2.2 国际现状分析
• 1.3 反垃圾邮件的现状
• 1.3.1 国内反垃圾邮件现状
• 1.3.2 国际反垃圾邮件现状
• 1.4 课题背景和研究意义
• 1.5 论文的主要内容和章节安排
• 1.6 本人所做的工作及特色
• 第二章 背景知识介绍
• 2.1 反垃圾邮件技术
• 2.1.1 过滤器
• 2.1.2 验证查询
• 2.1.3 挑战
• 2.1.4 密码术
• 2.2 进化计算概要
• 2.2.1 从生物进化到进化计算
• 2.2.2 进化计算的特点
• 2.3 贝叶斯算法原理
• 2.3.1 贝叶斯概论
• 2.3.2 贝叶斯公式及相关定理
• 2.4 人工免疫算法原理
• 2.4.1 生物免疫系统
• 2.4.2 人工免疫系统的基本原理
• 2.4.3 人工免疫算法
• 2.5 关于中文分词的介绍
• 2.5.1 中文分词概述
• 2.5.2 ICTCLAS 分词系统
• 2.6 小结
• 第三章 反垃圾邮件测试平台总体设计
• 3.1 需求分析
• 3.1.1 主体功能
• 3.1.2 限制与约束
• 3.2 测试平台的总体设计
• 3.2.1 设计目标
• 3.2.2 模块设置
• 3.2.3 系统架构
• 3.2.4 系统流程
• 3.2.5 开发环境
• 3.3 小结
• 第四章 反垃圾邮件测试平台详细设计与实现
• 4.1 贝叶斯算法设计与实现
• 4.2 人工免疫算法设计与实现
• 4.2.1 人工免疫算法中重要的定义
• 4.2.2 人工免疫算法总体设计与实现
• 4.2.3 淋巴系统创建算法的流程设计与实现
• 4.2.4 淋巴系统训练算法的流程设计与实现
• 4.2.5 垃圾邮件识别算法的流程设计与实现
• 4.2.6 抗体选择算法的流程设计与实现
• 4.2.7 人工免疫算法的参数配置界面
• 4.3 算法注册模块设计
• 4.4 高级配置模块设计
• 4.5 主要界面设计
• 4.5.1 反垃圾邮件测试平台主界面
• 4.5.2 横向测试平台界面
• 4.6 小结
• 第五章 系统测试及结果
• 5.1 测试环境
• 5.2 邮件语料库的选择
• 5.2.1 理想的邮件语料库
• 5.2.2 测试平台所选用的邮件语料库
• 5.3 人工免疫算法测试
• 5.3.1 淋巴细胞数量的影响
• 5.3.2 阀值的影响
• 5.4 算法横向测试
• 5.5 小结
• 第六章 结论与展望
• 致谢
• 参考文献
• 攻硕期间取得的研究成果