论文题目: 贝叶斯学习理论中若干问题的研究
论文类型: 博士论文
论文专业: 计算机软件与理论
作者: 王利民
导师: 苑森淼
关键词: 贝叶斯网络,广义朴素贝叶斯,增量学习,决策树,主动学习,提升策略,后离散化策略,正交旋转变换,贝叶斯回归
文献来源: 吉林大学
发表年度: 2005
论文摘要: 贝叶斯网络是用来表示变量间连接概率的图形模式,它提供了一种自然的表示因果信息的方法,用来发现数据间的潜在关系。其学习到的知识隐藏在变量间的连接权值和图形中的有向边。贝叶斯网络可以处理不完整和带有噪音的数据集,它用概率测度的权重描述数据间的相关性,用图形的方法描述数据间的相互关系,语义清晰,可理解性强。尤其是它在机器学习算法中的设计和分析方面扮演着越来越重要的角色。贝叶斯网络以其独特的不确定性知识表达形式、丰富的概率表达能力、综合先验知识的增量学习特性成为当前数据挖掘众多方法中最为引人注目的焦点之一。20世纪80年代贝叶斯网络用于专家系统的的知识表示,90年代进一步研究可学习的贝叶斯网络。近年来,贝叶斯学习理论方面的成果不断涌现,并且出现了专门研究贝叶斯理论的组织和学术刊物ISBA。本文在全面介绍和分析贝叶斯网络的研究现状、研究热点和发展趋势的基础上,从概率推理、结构学习、参数估计等角度结合增量学习、主动学习、提升策略、后离散化策略等方法给出了多种分类和回归算法,同时给出了必要的理论论证和实验分析。研究成果具体包括: (1) 对广义朴素贝叶斯分类器的正确性和合理性进行了理论论证和实验分析,为朴素贝叶斯的进一步发展提供了理论依据。(2) 从不同的角度提出了三种贝叶斯混合学习算法。分别为基于增量学习机制的增量型混合决策树、基于主动学习和提升策略的贝叶斯主动提升算法、基于后离散化策略的后离散化混合决策树,以求解在学习过程中出现的样本选择、抑制噪音传播、表达规则显式化等问题。(3) 从理论上证明,利用正交旋转变换不仅可以使样本分布在原始信息无损的前提下逼近条件独立性假设,同时构造的最终模型可以自然地利用未分配类别标注样本中的信息。(4) 讨论了回归分析与相关分析的关系和特点,提出了一种基于贝叶斯网络的回归树学习算法。
论文目录:
第一章 绪论
1.1 研究背景与意义
1.2 贝叶斯网络发展概述
1.3 贝叶斯网络的表示、学习和推理
1.4 贝叶斯网络学习所面临的挑战
1.5 论文研究内容和组织结构
第二章 广义朴素贝叶斯分类器
2.1 信息论的相关概念
2.1.1 离散熵及离散互信息
2.1.2 连续变量下的互信息及其局限性
2.2 贝叶斯网络与贝叶斯网络分类器
2.2.1 朴素贝叶斯网络分类器
2.2.2 树增广朴素贝叶斯网络分类器
2.2.3 无约束贝叶斯网络分类器
2.3 广义朴素贝叶斯分类器
2.4 实验及分析
2.5 本章小结
第三章 贝叶斯混合型机器学习
3.1 分类器集成
3.2 增量型混合决策树
3.2.1 决策树基本理论
3.2.2 增量学习
3.2.3 构造性归纳
3.2.4 实验及分析
3.3 贝叶斯主动提升算法
3.3.1 主动学习的一般原理与方法
3.3.2 提升(Boosting)策略
3.3.3 主动提升策略
3.3.4 实验及分析
3.4 后离散化混合决策树
3.4.1 贝叶斯测度
3.4.2 连续决策变量离散化
3.4.3 构造性归纳
3.4.4 实验及分析
3.5 本章小结
第四章 基于输入空间的旋转变换进行参数学习
4.1 贝叶斯估计
4.2 贝叶斯参数学习
4.2.1 离散变量的概率估计
4.2.2 连续变量的概率密度估计
4.3 子空间的统计正交展开
4.4 实验及分析
4.5 本章小结
第五章 贝叶斯回归树构造
5.1 回归分析与相关分析
5.2 线性回归分析
5.3 非线性回归分析
5.4 回归的正交旋转设计
5.5 贝叶斯回归树模型
5.5.1 贝叶斯回归树构造
5.5.2 增量学习
5.5.3 实验及分析
5.6 本章小结
第六章 总结与展望
6.1 本文的主要贡献
6.2 进一步研究的方向
参考文献
攻读博士学位期间的学术成果
致谢
摘要
Abstract
发布时间: 2005-08-26
标签：贝叶斯网络论文; 广义朴素贝叶斯论文; 增量学习论文; 决策树论文; 主动学习论文; 提升策略论文; 后离散化策略论文; 正交旋转变换论文; 贝叶斯回归论文;