贝叶斯网学习若干问题研究

论文摘要

贝叶斯网将概率论和图论有机结合,用一种紧凑的形式表示联合概率分布。具有完备的语义和坚实的理论基础,目前已成为人工智能领域处理不确定性问题的最佳方法之一。但仅由人类专家构建贝叶斯网常常是困难的,有时是不可能的,因此研究有效的贝叶斯网学习方法,就成了贝叶斯网研究的关键问题。本文以贝叶斯网、机器学习和人工免疫遗传算法为背景,开展贝叶斯网学习相关问题研究。主要研究结果包括:(1)对贝叶斯网结构空间进行了定性和定量分析。通过对有向图空间、贝叶斯网空间和马尔科夫等价类空间规模、特点的分析对比,得出在马尔科夫等价类空间上进行贝叶斯网学习具有明显优势。在此基础上,通过实验和理论证明,分析不同约束条件与结构空间规模之间的关系,进而得出约束参数的有效区间;(2)提出结合条件独立测试和打分搜索的贝叶斯网弧定向方法。该方法将最大链图作为输出结果,对统计不可分的弧保留其无向特性,更准确的表现了数据中蕴含的因果关系,便于结合领域知识进行建模;(3)提出基于骨架搜索的免疫遗传算法学习贝叶斯网等价类。通过免疫算子注入疫苗,可以在遗传过程中避免产生非法结构。在数据不完备情况下,提出疫苗的强度和衰减概念,有利于算法快速正确的收敛到目标结构。对比实验表明,该算法相比于在有向图空间搜索的遗传算法提高了执行效率和正确率;(4)将免疫遗传算法进行扩展,分别利用免疫遗传算法学习初始网和转换网,提出动态贝叶斯网学习算法。本文对贝叶斯网结构空间的分析、提出的贝叶斯网弧定向算法以及基于免疫遗传的贝叶斯网和动态贝叶斯网学习算法等,对贝叶斯网学习研究及应用都具有较大的理论意义和应用价值。

论文目录

• 内容提要
• 第一章 绪论
• 1.1 研究背景和意义
• 1.1.1 不确定性知识处理的概率方法
• 1.1.2 图模型与贝叶斯网
• 1.2 本文工作
• 第二章 贝叶斯网基础
• 2.1 引言
• 2.2 背景知识
• 2.2.1 概率基本概念
• 2.2.2 信息论基础
• 2.3 贝叶斯网基本概念
• 2.3.1 不确定性推理与联合概率分布
• 2.3.2 贝叶斯网定义
• 2.3.3 贝叶斯网中的独立关系
• 2.3.4 贝叶斯网的特性
• 2.4 小结
• 第三章 贝叶斯网学习
• 3.1 引言
• 3.2 贝叶斯网建造
• 3.3 参数学习
• 3.3.1 最大似然估计
• 3.3.2 贝叶斯估计
• 3.3.3 不完备数据下参数学习
• 3.4 结构学习
• 3.4.1 基于约束的方法
• 3.4.2 基于打分搜索的方法
• 3.4.3 不完备数据下结构学习
• 3.5 小结
• 第四章 贝叶斯网结构空间分析
• 4.1 引言
• 4.2 贝叶斯网结构空间
• 4.2.1 有向图空间G-Space
• 4.2.2 贝叶斯网空间B-Space
• 4.2.3 结构空间分析
• 4.3 结构空间的约减
• 4.3.1 马尔科夫等价
• 4.3.2 马尔科夫等价类空间
• 4.3.3 马尔科夫等价类的表示
• 4.3.4 E-Space的规模
• 4.3.5 先验结构空间约束
• 4.4 对比数据
• 4.5 小结
• 第五章 贝叶斯网弧定向算法
• 5.1 引言
• 5.2 背景知识
• 5.3 弧定向算法
• 5.3.1 独立性测试阶段
• 5.3.2 搜索局部结构
• 5.4 实验
• 5.5 结论
• 第六章 免疫遗传算法学习等价类
• 6.1 引言
• 6.2 遗传算法学习BNs结构
• 6.3 SGA算法
• 6.3.1 提取疫苗
• 6.3.2 免疫算子
• 6.3.3 遗传运算
• 6.3.4 算法优化
• 6.4 处理不完备数据
• 6.5 对比实验
• 6.6 小结
• 第七章 动态贝叶斯网学习
• 7.1 引言
• 7.2 背景知识
• 7.2.1 状态空间模型
• 7.2.2 动态贝叶斯网
• 7.2.3 动态贝叶斯网学习简介
• 7.3 免疫遗传算法学习动态贝叶斯网
• 7.3.1 提取疫苗
• 7.3.2 免疫算子
• 7.3.3 遗传运算
• 7.4 结论
• 第八章 全文总结及工作展望
• 附录
• A.符号表
• B.贝叶斯网推理方法简介
• B.1 简单链的推理方法
• B.2 单连通网络中的推理
• B.3 多连通网络中的推理
• 参考文献
• 作者攻读博士期间取得的成果
• 致谢
• 摘要
• ABSTRACT