多分类器集成技术研究

论文摘要

作为数据挖掘领域中一项重要的技术,分类技术在许多方面有着广泛的应用,目前存在着很多的分类技术,如决策树、支持向量机等。为了达到比较好的预测效果,传统的操作中,常常通过训练集产生多个分类模型,再用测试集逐个测试其分类性能,把性能最好的一个作为最终的分类模型。但是单个分类模型的预测性能毕竟有限,而且每个分类器都有其适合分类的数据区域,它可能对测试集表现出比较好的效果,但是对待测数据却没有很好的效果,这体现了单个分类器分类性能的不稳定性。而通过对多个单分类器进行有效地组合既可以提高分类的性能,又可以保证预测结果的稳定性,在这种情况下,分类集成技术应运而生。分类集成技术主要是通过对多个单分类器进行组合来提高分类性能,这些单分类器被称为基分类器,它主要包括两个部分：基分类器的产生方式和基分类器的组合方式。Boosting算法是分类集成学习中比较有代表性的方法,它产生基分类器时,通过在训练集样本上维护一套权重分布,使每次训练产生的基分类器关注不同的样本；Bagging方法也是一种比较重要的分类集成技术,它通过每次有放回抽样来产生基分类器,每个样本被选中的机会是完全相等的。MultiBoost方法可以看作Boosting方法和Wagging方法的结合,经过验证,它相对于Boosting方法和Wagging方法有较低的错误率,它主要是对训练集指定一套符合泊松分布的权重,然后生成基分类器。本文通过对这些方法进行分析,提出了两种改进的训练集样本加权方法用于产生基分类器。.基分类器的组合方式是分类集成中另一个重要的方面,在基分类器的输出是类别的情况下,目前常用的是投票法；Bagging方法用的是简单投票法,每个基分类器的投票在最终决策中是相同的,Boosting方法是根据基分类器的分类错误率对每个基分类器给予一个投票权重,最终的决策运用有权投票技术。本文详细分析了有权投票技术,在此基础上,针对不同方面的考虑,提出了两种投票权值调整的方法。最后通过实验对本文所提算法进行了实验验证,结果显示,本文所提方法可以进一步提高分类性能。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.2.1 国外研究现状
• 1.2.2 国内研究现状
• 1.3 本文主要内容和结构安排
• 第2章 理论基础
• 2.1 数据挖掘
• 2.2 分类技术概述
• 2.2.1 分类的概念及算法
• 2.2.2 分类器性能评价标准
• 2.3 分类集成技术概述
• 2.3.1 集成学习的作用
• 2.3.2 分类集成的拓扑结构
• 2.3.3 基分类器的生成方式
• 2.3.4 基分类器的组合方式
• 2.4 分类集成学习中的典型算法
• 2.4.1 Boosting算法
• 2.4.2 Bagging算法
• 2.4.3 Wagging算法
• 2.4.4 MultiBoost算法
• 2.5 本章小结
• 第3章 两种训练样本加权方式
• 3.1 经典集成方法中样本加权分析
• 3.2 分层样本加权方法
• 3.3 基于分类输出的加权方法
• 3.4 本章小结
• 第4章 两种投票权值调整方式
• 4.1 投票方法分析
• 4.2 动态投票权值调整方法
• 4.3 基于验证情况的投票权值调整法
• 4.4 本章小结
• 第5章 实验结果和分析
• 5.1 评价方法
• 5.2 实验数据集介绍
• 5.3 训练集加权实验
• 5.4 投票权值调整实验
• 5.5 集成技术在车辆欠费预测中的应用
• 5.6 本章小结
• 结论与展望
• 致谢
• 参考文献
• 攻读硕士学位期间发表的论文