贝叶斯分类算法的研究与应用

论文摘要

本文重点研究了数据挖掘中的贝叶斯方法,它具有坚实的数学理论基础,并能综合先验信息和数据样本信息,成为数据挖掘和机器学习研究的热点之一。朴素贝叶斯分类器是一种简单而有效的概率分类方法,然而其属性独立性假设在现实世界中多数不能成立。为了改进该方法的分类性能,近几年已有大量研究成果,许多学者都致力于构建能反映属性之间依赖关系的贝叶斯分类模型。本文简要地介绍了关于朴素贝叶斯分类器和粗糙集的基本理论,包括朴素贝叶斯分类模型,基于属性相关性分析的贝叶斯分类模型,加权贝叶斯分类模型,粗糙集基本理论和属性重要度的构造方法。本文根据Rough Set属性重要度理论,构建了基于互信息的属性子集重要度度量公式,提出属性相关性的加权朴素贝叶斯分类算法(WCB),该算法同时放宽了朴素贝叶斯算法属性独立性、属性重要性相同的假设。通过数据仿真实验,与基于属性相关相关性分析的贝叶斯(CB)和加权朴素贝叶斯(WNB)两种算法做比较,证明了该算法的有效性。最后对全文的工作进行了总结,并指出有待进一步研究的方向。

论文目录

• 中文摘要
• 英文摘要
• 1 绪论
• 1.1 研究背景和研究现状
• 1.1.1 研究背景
• 1.1.2 国内外研究现状
• 1.2 研究内容和目的
• 1.2.1 研究内容
• 1.2.2 研究目的
• 1.3 论文的组织结构
• 2 朴素贝叶斯分类模型
• 2.1 贝叶斯理论相关知识
• 2.1.1 基础知识
• 2.1.2 贝叶斯决策准则
• 2.1.3 极大后验假设
• 2.2 朴素贝叶斯分类模型
• 2.3 朴素贝叶斯分类器的优缺点
• 2.4 本章小结
• 3 粗糙集理论和加权贝叶斯分类模型
• 3.1 粗糙集基本理论
• 3.1.1 粗糙集相关概念
• 3.1.2 知识依赖性的度量
• 3.1.3 属性的重要性
• 3.1.4 粗糙集中两种度量属性重要度的方法
• 3.2 信息论相关知识
• 3.2.1 不确定信息的测度
• 3.2.2 度量随机变量的相关性
• 3.2.3 信息论中度量属性重要度的方法
• 3.3 加权贝叶斯分类模型
• 3.3.1 加权贝叶斯模型
• 3.3.2 加权贝叶斯分类算法
• 3.4 本章小结
• 4 基于属性相关性的贝叶斯分类模型（CB 模型）
• 4.1 主要概念与定义
• 4.2 构造CB 分类模型
• 4.3 CB 分类算法
• 4.4 CB 算法性能分析
• 4.5 本章小结
• 5 属性相关性的加权贝叶斯分类算法研究
• 5.1 主要概念
• 5.2 WCB 分类模型
• 5.3 WCB 模型的算法步骤
• 5.4 实验及结果分析
• 5.5 本章小结
• 6 结论与展望
• 6.1 主要结论
• 6.2 研究工作展望
• 致谢
• 参考文献
• 附录
• A. 作者在攻读硕士学位期间发表的论文目录