AdaBoost中加权方式的改进

论文摘要

在数据挖掘领域中,分类是一种非常重要的技术。现在有很多种分类技术,如贝叶斯,决策树等,这些分类器都是单分类器。人们为了提高分类器的技术做了很多的研究,但是目前单分类器性能的提升已经达到了一个瓶颈,人们根据弱学习和强学习等价性的原理,提出了集成学习的概念。所谓集成,就是将多个不同的分类器,通过一定的方法,利用相关的技术最终形成一个组合分类器。集成学习,即分类器集成也叫做分类器组合,形成的最终的分类器叫做组合分类器,它是组合多个分类器对实例进行分类的系统,其中每个分类器被称为基分类器。实验表明,多分类器组合能显著提高分类器的分类性能。因此对其进行研究,具有重要的理论价值及现实意义。本文首先对集成学习的各个主要研究方向做出了综合性的阐述,包括集成学习的概念,产生原因,生成方式,组合方式以及其意义等。并介绍了加权的一些研究内容,包括可以用来加权的对象等。接下来详细介绍了集成学习中的Boosting技术和Bagging技术。由已有的研究成果的总结可知,集成学习由两个阶段组成：产生多样性的预测模型和对这些模型进行组合。本文针对这两个阶段,对AdaBoost提出两种不同的改进,通过改进其加权方式来进一步提高算法的分类准确率。第一,传统的AdaBoost算法中的每个基分类器的权重是根据对训练集进行分类时所得到的错误率得到的,那么它的权重对于待测实例来说是静态的。如果把每个基分类器给待测实例预测类值时,所取类值的概率加入考虑范围,那么给基分类器所赋的权值就更侧重于待测实例的真实情况。第二,传统的AdaBoost算法在建立基分类器时,需要不断调整训练集中实例的权值,依据的是基分类器对训练集进行分类时的错误率。所有被分错的实例均用同一个权重因子进行加权。但是每个实例被分错时,是以不同的可能性被分错的,然而却被等同看待。如果加权时把分错概率的大小考虑到加权因子中,会使实例的权值更利于建立一个分类精度高的分类器。最后,在Weka系统上实现了这两个新算法以及比较算法,并通过实验进行了多方面的比较。实验结果表明,本文提出的两个算法准确率均优于传统AdaBoost算法,算法性能确实得到了提高。

论文目录

• 致谢
• 摘要
• ABSTRACT
• 1 引言
• 1.1 课题背景
• 1.2 本文完成工作
• 1.3 论文的组织安排
• 2 理论基础
• 2.1 数据挖掘
• 2.1.1 数据挖掘的定义
• 2.1.2 数据挖掘基本任务
• 2.2 分类的概述
• 2.2.1 分类器的定义
• 2.2.2 分类器的构造过程
• 2.2.3 算法分类
• 2.2.4 常见分类技术
• 2.2.5 分类的比较评价标准
• 2.3 集成学习的概述
• 2.3.1 集成学习的产生
• 2.3.2 基分类器的生成方式
• 2.3.3 基分类器的组合方法
• 2.3.4 集成学习的作用
• 2.4 局部加权思想
• 2.4.1 对训练集中的实例进行加权
• 2.4.2 对训练集的属性进行加权,即属性加权
• 2.4.3 组合分类器中基分类器的加权
• 3 集成学习中典型算法分析
• 3.1 Bagging算法
• 3.1.1 Bagging算法的提出
• 3.1.2 Bagging算法描述
• 3.1.3 Bagging算法理论分析
• 3.2 AdaBoost算法
• 3.2.1 AdaBoost算法的提出
• 3.2.2 AdaBoost算法描述
• 3.2.3 AdaBoost.M1算法以及AdaBoost.M2算法
• 3.2.4 AdaBoost算法理论分析
• 3.3 Bagging与Boosting的比较
• 4 AdaBoost算法改进
• 4.1 基于待测实例的加权方式
• 4.1.1 对传统AdaBoost算法的分析
• 4.1.2 针对AdaBoost分类过程做出的调整
• 4.1.3 改进算法流程
• 4.2 基于分类概率的加权方式
• 4.2.1 传统AdaBoost算法的方式
• 4.2.2 针对AdaBoost分类过程做出的调整
• 4.2.3 改进算法流程
• 5 实验结果比较分析
• 5.1 Weka系统简介
• 5.2 Weka下的AdaBoost算法
• 5.2.1 继承关系
• 5.2.2 基于AdaBoost的改进
• 5.3 实验方法
• 5.3.1 数据集描述
• 5.3.2 实验参数设置
• 5.3.3 算法性能评价方式
• 5.4 实验结果及其分析
• 5.4.1 运行对比算法的实验结果
• 5.4.2 WBTI实验结果分析
• 5.4.3 WBPC实验结果分析
• 6 结论与期望
• 6.1 工作总结
• 6.2 进一步研究方向
• 参考文献
• 作者简历
• 学位论文数据集