BW-LVQ邮件过滤模型

论文摘要

伴随着Internet 的普及,电子邮件以其快捷、方便、低成本的特点日益得到了广泛的使用,成为了最流行使用的沟通工具之一。然而,作为其发展的副产品――垃圾邮件,却给Internet 用户、网络管理员和网络服务提供商ISP 带来了无尽的烦恼,收件人的时间、带宽和存储资源被无效占用,网络链路因此造成拥塞,还被作为不良信息的载体被到处散发。现在成熟应用的垃圾邮件过滤方法是采用通过软件自动过滤与人工管理相结合的方式,但这不能很好的适应垃圾邮件的多样性,只能过滤掉50%左右的垃圾邮件。因此,迫切需要引入更加智能化的垃圾邮件过滤技术来治理日益猖獗的垃圾邮件问题。本论文课题的主要目标是探索一种具体的垃圾邮件过滤模型,实现并测试该模型。研究中要观察所选择的模型是否适当,注意此模型自身参数和环境参数调节对过滤性能的影响,因此,实验需要能够彻底的检测出模型的有效性和可行性。作者在课题研究期间很好的完成了上述目标。本论文提出了LVQ 邮件过滤模型和改进型BW 邮件过滤模型,详细的描述了两个模型的设计原理,讨论了两者之间的关系以及它们与邮件服务器的关系,并给出了重要的实现框架与代码。LVQ 邮件过滤模型解决了布尔型邮件过滤模型特征项离散、垃圾邮件与正常邮件边界定义模糊的问题;改进型BW 邮件过滤模型针对传统黑白名单模型提出了改进,减少了用户对边界地址错误界定带来的损失。虽然当前已经存在多种多样的垃圾邮件过滤方法,但是还有许多垃圾邮件相关问题没有找到好的解决办法,这大大的影响了邮件过滤系统的过滤性能,使得垃圾邮件的危害没有减轻。本论文提出的新的邮件过滤模型解决了其中的一些问题,在一定环境下能够提高邮件过滤系统的过滤性能,因此,本课题的研究是具有意义的。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 引言
• 1.1 背景
• 1.2 项目目标
• 1.3 论文概要
• 第二章 理论基础
• 2.1 邮件过滤的现有方法
• 2.2 文本分类
• 2.2.1 文本分类的种类
• 2.2.1.1 Single-lable vs. Multi-lable
• 2.2.1.2 Category-pivoted vs. Document-pivoted
• 2.2.1.3 Hard-decision vs. Ranking
• 2.2.2 文本机器学习
• 2.2.2.1 基本学习途径
• 2.2.2.2 训练集和测试集
• 2.2.2.3 特征选择
• 2.2.2.4 有效性评估
• 2.3 基于学习的方法
• 2.3.1 Nalve Bayes
• 2.3.2 Support Vector Machines
• 2.3.3 Boosting Trees
• 2.3.4 Chi-Square
• 第三章 LVQ 邮件过滤模型的设计
• 3.1 数据预处理
• 3.1.1 性能测试集的选择
• 3.1.2 分词处理
• 3.1.2.1 英文分词
• 3.1.2.2 中文分词
• 3.1.3 邮件的表示
• 3.1.4 特征项的提取
• 3.2 LVQ 邮件过滤模型
• 3.2.1 垃圾邮件的定义与分类
• 3.2.2 布尔型垃圾邮件过滤模型的弊端
• 3.2.3 学习矢量量化（LVQ）邮件过滤模型
• 3.2.3.1 模型推理
• 3.2.3.2 模型构架
• 3.2.4 LVQ 邮件过滤模型训练算法LVQTrn
• 3.2.4.1 LVQTrn 算法
• 3.2.4.2 初始化聚类中心
• 3.2.4.3 相似度的计算
• 3.2.4.4 学习率选择
• 3.2.4.5 终止条件
• 3.2.5 LVQ 邮件过滤模型过滤算法LVQFlt
• 3.2.5.1 LVQFlt 算法
• 3.2.5.2 胜者全得竞争
• 3.2.5.3 规约计算
• 3.2.5.4 邮件类型常量标识
• 第四章 反垃圾邮件LVQ 网络
• 4.1 参数取值
• 4.2 网络框架
• 4.3 程序实现
• 4.3.1 预处理模块
• 4.3.1.1 单词的存储结构
• 4.3.1.2 主流程
• 4.3.1.3 子类单词信息的统计
• 4.3.1.4 训练集单词信息的统计
• 4.3.1.5 特征向量的提取
• 4.3.2 训练模块
• 4.3.2.1 主流程
• 4.3.2.2 权值向量的计算
• 4.3.2.3 子类竞争
• 4.3.2.4 聚类中心的调整
• 4.3.3 测试模块
• 4.3.3.1 主流程
• 4.3.3.2 过滤流程
• 4.3.3.3 规约
• 4.3.4 评估模块
• 第五章 反垃圾邮件LVQ 网络性能分析
• 5.1 评估标准
• 5.2 性能评估
• 5.2.1 基本性能
• 5.2.2 低严格度λ=1
• 5.2.3 中严格度λ=9
• 5.2.4 高严格度λ=999
• 5.2.5 综合评估
• 5.3 与其他方法的比较
• 5.3.1 低严格度λ=1
• 5.3.2 中严格度λ=9
• 5.3.3 高严格度λ=999
• 5.3.4 综合评估
• 第六章 改进型BW 邮件过滤模型的设计与实现
• 6.1 设计原理
• 6.2 BW-LVQ 邮件过滤模型
• 6.3 实现
• 第七章 基于BW-LVQ 邮件过滤模型的邮件服务器
• 7.1 邮件服务器过滤模块接口
• 7.1.1 SMTP 服务器
• 7.1.2 过滤模块插入接口
• 7.2 LVQ 邮件过滤模块的插入点
• 7.2.1 过滤延迟
• 7.2.2 插入点的选择
• 7.3 BW 邮件过滤模块的插入点
• 7.3.1 过滤延迟
• 7.3.2 插入点的选择
• 第八章 性能优化讨论
• 8.1 LVQ 邮件过滤模型
• 8.1.1 个性化训练
• 8.1.2 发送者确认机制
• 8.2 BW 邮件过滤模型
• 8.2.1 反馈BW 名单机制
• 第九章 结论
• 参考文献
• 致谢
• 个人简历