贝叶斯算法在垃圾邮件过滤技术中的研究与应用

论文摘要

自互联网技术诞生以来,电子邮件已经成为了最为普遍的应用之一,.成为各类用户必不可少的通讯途径。然而,电子邮件在给广大用户带来方便的同时,也带来了一个极为严重的问题,那就是垃圾邮件。垃圾邮件占用了大量的网络带宽,经常造成网络通信的拥堵,从而使正常的用户无法链接网络或是无法打开正常的邮件。这严重浪费了用户的时间和精力,也造成了网络资源的不合理使用,影响了互联网的信息安全。因此,如何过滤掉互联网上的垃圾邮件并提高过滤效率已经成为邮件提供商和用户的首要问题。垃圾邮件过滤技术的研究在互联网应用技术中具有极其重要的意义。本文通过对电子邮件格式、传输过程、垃圾邮件过滤等相关技术的研究,在贝叶斯算法的基础上设计了一套针对中文垃圾邮件的过滤方案。该方案以黑白名单技术和关键词过滤为辅助,以中文分词和贝叶斯算法为核心,并实现了该垃圾邮件过滤系统。其中,中文分词算法引入了降噪和去停用词处理,同时在贝叶斯过滤过程中通过不断增加样本训练集数量实现了系统的自主学习功能。最后通过邮件样本集和测试集对系统进行了测试,并从文本分类和信息统计学中借鉴了相关的评估参数作为系统的评价体系。测试结果表明,该系统有着较好的垃圾邮件过滤性能。该系统的开发是基于Myeclipse6.5平台,数据库为Oracle,编程语言为javao

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景
• 1.2 垃圾邮件历史
• 1.3 垃圾邮件的危害
• 1.4 论文主要内容及组织结构
• 第2章 电子邮件相关技术介绍
• 2.1 电子邮件的格式
• 2.1.1 邮件头格式
• 2.1.2 邮件体格式
• 2.1.3 完整的邮件格式
• 2.2 电子邮件的传输基本过程
• 2.2.1 基本名词
• 2.2.2 电子邮件发送过程
• 2.3 相关协议简介
• 2.3.1 SMTP简介
• 2.3.2 POP协议
• 2.3.3 MIME协议
• 2.3.4 IMAP协议
• 2.4 本章小结
• 第3章 邮件过滤相关技术
• 3.1 邮件过滤技术简介
• 3.1.1 黑白名单技术
• 3.1.2 关键词过滤
• 3.1.3 HASH过滤
• 3.1.4 启发式过滤
• 3.1.5 贝叶斯过滤
• 3.2 中文分词技术
• 3.2.1 基于理解的分词
• 3.2.2 基于统计的分词
• 3.2.3 基于匹配的分词
• 3.3 贝叶斯算法
• 3.3.1 贝叶斯过滤算法思想
• 3.3.2 贝叶斯决策理论
• 3.3.3 贝叶斯公式相关定义及推导
• 3.3.4 贝叶斯过滤垃圾邮件的处理过程
• 3.3.5 贝叶斯过滤的优势
• 3.4 本章小结
• 第4章 贝叶斯邮件过滤模型的设计与实现
• 4.1 算法设计
• 4.1.1 黑白名单和关键词为辅助的过滤模型
• 4.1.2 中文分词算法模型
• 4.2 邮件过滤系统的模块划分
• 4.2.1 信息处理模块
• 4.2.2 过滤模块
• 4.2.3 数据库模块
• 4.3 本章小结
• 第5章 系统测试与分析
• 5.1 系统评价指标
• 5.1.1 语料选择
• 5.1.2 评价参数
• 5.2 系统测试分析
• 5.2.1 中文分词
• 5.2.2 训练集结果
• 5.2.3 阀值的影响
• 5.3 测试结果分析
• 5.4. 本章小结
• 第6章 总结与展望
• 6.1 总结
• 6.2 展望
• 致谢
• 参考文献
• 攻读硕士学位期间发表的论文及科研成果