判别贝叶斯网络的学习算法及其应用研究

论文摘要

贝叶斯网络分类器在很多领域有广泛的应用。为了更好的解决分类问题,出现了两种不同的扩展贝叶斯网络分类器。一是网络结构的扩展,这方面的代表有朴素贝叶斯分类器和TAN分类器;另一种是学习方法的扩展,即基于判别学习的贝叶斯网络分类器。从学习的目的性来讲,贝叶斯网络的学习方法包括生成学习和判别学习。自贝叶斯网络出现以来,主要研究了生成学习方法,而判别学习相关的研究则相对很少。本文从判别学习的角度,围绕实际问题中的分类代价不平衡数据、属性缺值数据以及类别缺值数据,研究了基于判别学习的贝叶斯网络的几种算法。本文的主要研究内容如下:（1）论文总结了现有的贝叶斯网络的生成学习算法和判别学习算法,并从几个不同的角度对生成贝叶斯网络和判别贝叶斯网络进行了实验对比。（2）在分类代价不平衡数据的判别贝叶斯网络的学习中,针对样本数据分类代价的不平衡性,在判别贝叶斯网络学习的基础上,提出了贝叶斯网络的代价敏感参数和代价敏感结构的学习算法。在参数学习算法中提出了一种代价敏感损失函数作为目标函数,并应用共轭梯度法进行求解;而在结构学习中则提出了代价敏感准则用于贝叶斯网络的结构学习,这种代价敏感准则是关于分类代价和分类精度的双重评分准则。（3）在属性缺值数据的判别贝叶斯网络的学习中,针对实际问题中存在的属性缺值数据,研究了判别贝叶斯网络学习的CEM算法。提出了一种使得CEM算法收敛的Q函数,分析了收敛的CEM算法在判别贝叶斯网络学习中存在的缺陷,并在此基础上分别从E步和M步对CEM算法进行近似,降低了计算的复杂度,使得CEM算法在判别贝叶斯网络的学习中是有效且可行的。（4）在类别缺值数据的判别贝叶斯网络的学习中,针对实际问题中存在的大量类别缺值数据,研究了贝叶斯网络的半监督学习和主动学习算法。首先提出了一种生成-判别混合的半监督学习算法,应用对数联合似然函数度量无标签样本与模型的拟合程度,而应用对数条件似然函数度量有标签样本与模型的拟合程度;然后为了实现对类别缺值数据的代价敏感挖掘,提出了基于代价敏感样本选择策略的主动学习算法。（5）将本文相关的研究方法用于烟叶感官质量的评价中,从化学成分缺值、感官类别缺值和考虑分类代价等多个角度对烟叶感官质量进行预测和评价,为实际的卷烟生产提供了一种智能化的评价方法。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究的背景和意义
• 1.2 贝叶斯网络的扩展研究综述
• 1.2.1 贝叶斯网络模型的扩展
• 1.2.2 贝叶斯网络研究方法的扩展
• 1.3 主要研究内容和创新点
• 1.3.1 论文的主要研究内容和结构
• 1.3.2 论文的创新点
• 第二章 判别贝叶斯网络的学习算法及对比研究
• 2.1 引言
• 2.2 贝叶斯网络相关的基本概念
• 2.2.1 贝叶斯网络的基本概念
• 2.2.2 贝叶斯网络分类器
• 2.3 生成贝叶斯网络与判别贝叶斯网络的学习算法
• 2.3.1 生成贝叶斯网络的学习
• 2.3.2 判别贝叶斯网络的学习
• 2.3.3 生成-判别混合学习
• 2.4 生成贝叶斯网络与判别贝叶斯网络的实验对比
• 2.4.1 训练数据集和测试数据集的似然
• 2.4.2 训练样本集的大小对分类精度的影响
• 2.4.3 分类精度的对比
• 2.5 判别贝叶斯网络学习中存在的问题
• 2.6 本章小结
• 第三章 分类代价不平衡数据的判别贝叶斯网络学习
• 3.1 引言
• 3.2 贝叶斯网络的代价敏感参数学习
• 3.2.1 贝叶斯网络的损失函数
• 3.2.2 代价敏感损失函数
• 3.2.3 贝叶斯网络的代价敏感参数学习
• 3.2.4 实验结果
• 3.3 贝叶斯网络的代价敏感结构学习
• 3.3.1 分类误差准则和分类代价准则
• 3.3.2 代价敏感准则
• 3.3.3 基于代价敏感准则的贝叶斯网络结构学习方法
• 3.3.4 实验结果
• 3.4 本章小结
• 第四章 属性缺值数据的判别贝叶斯网络学习
• 4.1 引言
• 4.2 贝叶斯网络的EM学习算法
• 4.3 判别贝叶斯网络的CEM算法
• 4.3.1 CEM算法简介
• 4.3.2 贝叶斯网络的CEM学习算法的理论分析
• 4.3.3 收敛的CEM算法与判别预测目标的偏离
• 4.3.4 贝叶斯网络的近似CEM算法
• 4.3.5 CEM算法在含有无标签样本的数据集中失效
• 4.3.6 实验结果
• 4.4 本章小结
• 第五章 类别缺值数据的判别贝叶斯网络学习
• 5.1 引言
• 5.2 生成-判别混合的半监督学习
• 5.2.1 样本数据完整时的生成-判别混合学习
• 5.2.2 样本数据存在类别缺值的生成-判别混合的半监督学习
• 5.2.3 实验结果
• 5.3 基于代价敏感样本选择策略的主动学习
• 5.3.1 主动学习的相关理论
• 5.3.2 分类代价减小的样本选择策略
• 5.3.3 代价敏感样本选择策略
• 5.3.4 基于代价敏感策略的主动学习
• 5.3.5 贝叶斯网络的更新
• 5.3.6 实验结果
• 5.4 本章小结
• 第六章 基于判别贝叶斯网络的烟叶质量评价
• 6.1 引言
• 6.2 烟叶的质量及其评价
• 6.2.1 烟叶质量体系
• 6.2.2 现有的评价方法
• 6.3 基于判别贝叶斯网络的烟叶感官质量评价
• 6.3.1 烟叶感官质量的人工评价
• 6.3.2 烟叶感官质量的判别贝叶斯网络评价方法
• 6.3.3 实例
• 6.4 本章小结
• 第七章 结论与展望
• 7.1 本文总结
• 7.2 进一步研究的展望
• 致谢
• 参考文献
• 作者在学期间取得的学术成果
• 附录A 烤烟化学成分与评吸结果