基于决策树算法的垃圾邮件通信行为检测过滤技术研究

论文摘要

随着科技进步和计算机网络技术的发展,网络彻底改变了人们的生活方式,越来越多的人融入到了互联网中,享受着网络带来的种种便利。但同时随着互联网规模的迅速扩大,许多问题已经成为互联网发展中无法回避的核心问题,其中垃圾邮件泛滥的问题尤为突出。本文在对传统的邮件过滤技术深入研究的基础上,以加快邮件过滤速度,节省网络带宽资源为目的,针对垃圾邮件发送行为特征,提出了相应的模型。针对传统的基于邮件正文内容的过滤技术扫描速度慢,占用大量网络带宽资源等问题,提出了通信行为检测的概念,结合数据挖掘技术,提出了一种基于决策树算法的垃圾邮件通信行为检测过滤方法。该方法把数据挖掘中的决策树分类方法应用到邮件过滤系统中,对C4.5算法进行了改进,使之更适合于大量的日志数据的快速处理。结合邮件日志数据特征,将其进行离散化预处理,降低连续型属性的影响,建立了一种基于信息熵理论的规则决策树,最后,利用剪枝处理技术对决策树修剪,克服了决策树处理数据中的速度慢,分支冗余等缺点。该过滤技术工作在网络会话层,在邮件内容数据发送前对其进行合法性判断,从而节省网络带宽资源,同时保证了高准确率和一定的召回率。经实验证明,该方法效果良好,可极大提高邮件服务器的邮件过滤能力。本论文提出的通信行为检测技术为反垃圾邮件提供了一个新的并且是行之有效的解决方案,具有广阔的应用前景。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 课题来源
• 1.2 研究目的和意义
• 1.3 邮件过滤技术概述
• 1.3.1 两种主流垃圾邮件过滤技术对比
• 1.3.2 垃圾邮件现状及发展趋势
• 1.3.3 国内外邮件安全厂商及主要产品
• 1.4 本文研究的主要内容
• 第2章 垃圾邮件过滤研究现状
• 2.1 电子邮件原理简介
• 2.1.1 电子邮件的概念
• 2.1.2 邮件地址与邮件格式
• 2.1.3 邮件系统的实现原理
• 2.1.4 电子邮件协议
• 2.2 邮件过滤的类型
• 2.2.1 MTA 过滤
• 2.2.2 MDA 过滤
• 2.2.3 MUA 过滤
• 2.3 邮件过滤技术发展概况
• 2.3.1 基于安全认证的过滤器
• 2.3.2 基于规则的过滤器
• 2.3.3 基于统计的过滤器
• 2.3.4 基于行为识别的过滤技术
• 2.3.5 其他邮件过滤技术
• 2.4 本章小结
• 第3章 邮件通信行为检测技术研究
• 3.1 数据挖掘
• 3.1.1 分析方法分类
• 3.1.2 数据挖掘算法
• 3.2 决策树生成基本算法
• 3.2.1 决策树描述
• 3.2.2 ID3 算法
• 3.2.3 C4.5 算法
• 3.2.4 其他算法
• 3.3 本章小结
• 第4章 基于通信行为的处理方案设计
• 4.1 基于决策树处理方案设计
• 4.1.1 数据采集
• 4.1.2 特征属性提取
• 4.1.3 算法改进和规则提取
• 4.1.4 剪枝处理
• 4.1.5 模式分析
• 4.2 针对垃圾邮件频率特征的处理方案
• 4.2.1 实现机制
• 4.2.2 总体设计
• 4.3 本章小结
• 第5章 实验过程与结论分析
• 5.1 实验环境
• 5.2 实验过程
• 5.2.1 数据离散化预处理
• 5.2.2 生成决策树
• 5.2.3 剪枝与提取规则
• 5.2.4 测试结果
• 5.3 结论分析
• 5.4 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的学术论文
• 致谢