增量决策树中样例选择的影响与评价

论文摘要

随着数据库和网络技术的不断发展,使得人们可以越来越容易地获得海量的数据,但由于数据信息自身的复杂性,使如何有效地处理和理解这些数据成为需要解决的难题,而机器学习方法可以帮助我们认识和理解这些数据里隐含的知识,同时还可以帮助和指导生产实践。此时,首先要面临的问题就是数据的动态增长,其次是数据的数量巨大,二者都可以通过机器学习中的增量学习和主动学习来解决。前者可以适应数据不断增长的学习环境,在保持原有学习结果的基础之上接收新的数据,通过调整更新分类器来获取新的知识,而后者可以主动选择样例,从而降低数据的数量和复杂度,节约学习的成本,降低构造分类器的代价。本文研究了基于增量决策树的主动学习方法,其实就是将增量学习和主动学习两种方法进行有效地结合,从而同时发挥二者的优势。增量决策树是一种有效的增量学习方法,它可以在尽量最小破坏原有决策树的结构稳定性前提下,通过动态调整算法来更新决策树。在此基础上,进一步研究了决策树结构的变化规律,提出了基于最大不一致判断准则的未标注样例选择算法,从而完成主动学习中重要的一环。同时还介绍了基于最大熵和基于最大可能预测错误的样例选择算法,并通过实验验证了这些算法的分类性能,结果表明这三种学习算法都显著减少了训练所需样例的数目,同时也证明了基于增量决策树的主动学习方法的有效性,并且在一定程度上会好于另外两种方法。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景与意义
• 1.2 国内外研究现状
• 1.3 研究内容
• 1.4 论文组织
• 第2章 增量决策树介绍及其变化分析
• 2.1 基础理论
• 2.1.1 信息论原理
• 2.1.2 增量学习技术
• 2.1.3 朴素贝叶斯分类原理
• 2.2 增量决策树学习算法简介
• 2.2.1 ID3 算法简介
• 2.2.2 ID3’算法简介
• 2.2.3 ID4 算法简介
• 2.2.4 ID5R 算法简介
• 2.2.5 ITI 算法简介
• 2.3 增量决策树的结构变化分析
• 2.3.1 连续值属性时决策树的变化
• 2.3.2 离散值属性时决策树的变化
• 第3章 基于增量决策树的主动学习
• 3.1 主动学习的概念
• 3.1.1 半监督学习与主动学习
• 3.1.2 主动学习的基本过程
• 3.2 主动学习的常见方法
• 3.2.1 基于池的主动学习
• 3.2.2 基于流的主动学习
• 3.2.3 主动学习的算法示例
• 3.3 增量决策树在主动学习中的应用
• 3.3.1 算法设计思想
• 3.3.2 基于增量决策树的样例选择算法
• 3.4 有关实验与分析
• 3.4.1 与随机选择样例的比较
• 3.4.2 与其它主动学习方法的比较
• 3.5 本章小结
• 第4章 总结与展望
• 4.1 本文总结
• 4.2 工作展望
• 参考文献
• 致谢
• 攻读学位期间取得的科研成果