Print

基于软间隔的AdaBoost弱分类器权重调整算法

论文摘要

Freund和Schapire1995年提出的AdaBoost算法是Boosting家族最具有代表性的算法,其基本思想是利用一系列的弱分类器通过加权线性组合来构成一个强分类器。AdaBoost作为一种集成学习方法,以PAC（ProbablyApproximatelyCorrect）学习理论为依据,在很多应用领域中都表现出了其优良特性。本文主要研究如何通过调整弱分类器的权重来提高AdaBoost算法的泛化性能,文章主要做了以下的工作:一方面,本文在简单介绍AdaBoost算法模型及其思想的基础上,分析了AdaBoost算法的泛化误差、训练误差及其收敛性,以及泛化误差与间隔之间的关系。并针对长期以来对于泛化误差与间隔分布以及最小间隔的关系的争论,介绍了两种基于间隔的AdaBoost弱分类器权重调整算法:基于最大化最小间隔的Arc-GV算法和基于优化间隔分布的AdaBoost-QP算法,通过实验比较AdaBoost、Arc-GV、AdaBoost-QP的泛化误差、最小间隔以及间隔分布,表明了间隔分布对于提高泛化性能的重要性。另一方面,注意到AdaBoost算法在有噪声的数据集上会出现明显的过学习现象,如AdaBoost-QP算法利用了优化样本间隔分布的方法来调整弱分类器的权重,但实验表明其依然会出现因为过于强调难分类的样本点而导致泛化性能下降的局限性问题。本文通过分析硬间隔和过学习现象的关系,为了克服AdaBoost算法对于噪声的敏感性,提出了给样本间隔加入松弛项的“软间隔”概念来弱化硬间隔对于有噪声数据分类的影响,并利用优化“软间隔”分布的方法改进了AdaBoost-QP算法,提出了两种算法-AdaBoost-QPKL、AdaBoost-QPnorm。实验结果表明调整后的两种新算法的泛化性能均得到了有效的提高。

论文目录

  • 摘要
  • Abstract
  • 第一章 绪论
  • 1.1 引言
  • 1.2 AdaBoost 算法的研究现状及其分析
  • 1.2.1 AdaBoost 的产生和发展
  • 1.2.2 基于间隔假说的AdaBoost 研究现状
  • 1.3 本文的主要工作和内容安排
  • 第二章AdaBoost 算法及其性能分析
  • 2.1 AdaBoost 算法的概述
  • 2.2AdaBoost 算法的训练误差及其收敛性分析
  • 2.3 基于泛化误差的分析
  • 2.3.1 泛化误差
  • 2.3.2 泛化误差基于间隔的解释
  • 2.4 本章小结
  • 第三章 基于间隔的AdaBoost弱分类器权重调整算法
  • 3.1 基于最大化最小间隔的Arc- GV 算法
  • 3.2 基于优化间隔分布的AdaBoost- QP 算法
  • 3.3 试验结果与分析
  • 3.4 本章小结
  • 第四章 基于软间隔的AdaBoost弱分类器权重调整算法
  • 4.1 硬间隔和过学习现象
  • 4.2 基于软间隔的AdaBoost算法
  • 4.3 基于软间隔的AdaBoost - QP 算法
  • 4.3.1 AdaBoost - QP KL 算法
  • 4.3.2 AdaBoost - QP norm2 算法
  • 4.4 实验结果与分析
  • 4.5 本章小结
  • 结束语
  • 致谢
  • 参考文献
  • 硕士在读期间论文发表及录用情况

    • 相关论文文献

    本文来源: https://www.lw50.cn/article/eccadb92de6fa6f1d2e61a87.html