贝叶斯网络结构学习算法研究

论文摘要

贝叶斯网络提供了一种表示因果关系的方法。它结合图模型理论和统计学来表达随机变量之间的不确定性知识,并高效地执行推理任务。最近20多年来,贝叶斯网络学习一直是人工智能和机器学习领域中一个非常活跃的研究课题,并且提出了许多经典高效的算法。尽管这些方法都获得了很好的性能,但是当面对有限数据集或高维数据集时,这两类方法在学习的准确性和效率上都存在缺限。本文的主要贡献如下:1)最大相关一最小冗余贪婪贝叶斯网络学习算法结点有序情况下,改进了K2算法,使它适用于高维小采样数据集。引入最大相关一最小冗余特征选择技术,提出局部贝叶斯增量函数以控制所学贝叶斯网络结构的复杂度。实验结果表明,在小采样数据集上,该方法在准确性上优于K2算法。未知结点次序情况下,引入了基于结点次序的启发式搜索,提出一个新颖的候选父结点集合产生方法。同时,我们也引入了最大相关一最小冗余特征选择技术和局部贝叶斯增量函数,使之适用于小采样数据集。实验结果表明,在小采样数据集上,该方法在准确性上优于现有算法。2)基于集成方法的贝叶斯网络学习算法提出一类学习贝叶斯网络的高效算法。该方法把集成学习应用到贝叶斯网络学习算法中,学习到一个更加准确的贝叶斯网络。提出基于增量采样的贝叶斯网络集成学习算法。基于贝叶斯网络学习的因果马尔科夫属性,提出基于根结点的增量采样技术和相应的组件集成技术。提出基于采样分解的贝叶斯网络集成学习算法。基于贝叶斯网络学习的因果马尔科夫属性,提出基于根结点的采样分解技术和相应的组件集成技术。实验结果表明,在有限数据集上,这两类集成贝叶斯网络结构学习方法在准确性上优于现有算法。3)关联规则-贝叶斯网络集成学习算法提出基于启发式2层计数的频繁项集挖掘算法。提出一个新颖的2层频繁项集生成方法,大大减少了数据集的遍历次数。在每次数据集遍历过程中,提出启发式遍历技术,减少了数据集遍历时间。实验结果表明,在高维松散大数据集上,效率上优于Apriori算法。提出基于启发式2层计数的频繁项集—贝叶斯网络集成学习算法。该算法把频繁项集挖掘算法应用到贝叶斯网络学习的得分&搜索方法中,利用频繁项集限制贝叶斯网络结构搜索空间,提高了网络结构空间的搜索效率。实验结果表明,在高维松散大数据集上,本集成算法在效率和准确性上优于传统的贝叶斯网络学习方法。4)贝叶斯网络在通信领域的应用初探对客户流失预测分析问题进行了初步探索,初步提出一个基于贝叶斯网络的主动流失客户预测分析模型。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景和意义
• 1.2 贝叶斯网络的产生、发展及研究现状
• 1.3 本文的研究内容
• 1.4 论文组织
• 第二章 贝叶斯网络概述
• 2.1 贝叶斯网络相关概念
• 2.2 d-分隔
• 2.3 贝叶斯网络学习的一些前提假设
• 2.4 贝叶斯网络参数学习
• 2.5 贝叶斯网络结构学习
• 2.5.1 基于评分和搜索的方法
• 2.5.2 基于条件独立性测试的方法
• 第三章 最大相关-最小冗余贪婪（MRMRG）贝叶斯网络结构学习算法研究
• 3.1 最大相关-最小冗余特征选择技术
• 3.2 K2算法
• 3.3 局部贝叶斯增量函数
• 3.4 MRMRG算法
• 3.5 OMRMRG算法
• 3.5.1 基于结点次序贪婪贝叶斯网络学习算法
• 3.5.2 OMRMRG算法
• 3.6 基于 MRMR的学习算法实验分析
• 3.6.1 贝叶斯网络测试实例介绍
• 3.6.2 MRMRG算法实验分析
• 3.6.3 OMRMRG算法实验分析
• 第四章 基于根结点采样的贝叶斯网络结构学习算法研究
• 4.1 图模型的基本概念
• 4.2 集成学习介绍
• 4.2.1 Bagging方法
• 4.2.2 组件集成方法
• 4.3 一个贝叶斯网络例子
• 4.4 基于集成的贝叶斯网络学习框架
• 4.5 根结点搜索方法
• 4.6 基于根结点采样分解技术的贝叶斯网络学习算法
• 4.6.1 基于根结点的采样分解方法
• 4.6.2 RNSD正确性证明
• 4.6.3 RNSD集成方法
• 4.7 基于根结点采样增量技术的贝叶斯网络学习算法
• 4.7.1 基于根结点的采样增量方法
• 4.7.2 RNS正确性证明
• 4.7.3 RNS集成方法
• 4.8 基于集成的贝叶斯网络学习算法实验分析
• 4.8.1 贝叶斯网络测试实例介绍
• 4.8.2 根结点搜索算法实验分析
• 4.8.3 基于根结点采样学习算法实验分析
• 第五章 关联规则-贝叶斯网络集成学习算法研究
• 5.1 关联规则相关概念
• 5.2 Apriori算法
• 5.3 FIM-HTLC算法
• 5.3.1 产生频繁1，2-项集集合
• 5.3.2 产生频繁k,（k+1）-项集集合
• 5.4 关联规则-贝叶斯网络集成学习算法
• 5.5 关联规则-贝叶斯网络集成学习算法实验分析
• 5.5.1 FIM-HTLC算法实验分析
• 5.5.2 FIM-BNL算法实验分析
• 第六章 贝叶斯网络在电信客户流失预测分析中的应用初探
• 6.1 客户流失预测分析流程
• 6.2 客户流失预测分析的商业理解
• 6.3 客户流失预测分析的数据理解
• 6.4 客户流失预测分析的数据准备
• 6.4.1 数据抽取
• 6.4.2 数据清洗
• 6.4.3 数据转换和属性转换
• 6.4.4 属性选择
• 6.5 基于贝叶斯网络的客户主动流失预测分析建模初探
• 6.6 模型初步评估
• 第七章 论文工作总结和展望
• 7.1 论文工作内容
• 7.2 下一步工作展望
• 参考文献
• 缩略语
• 发表论文
• 致谢