多分类器选择关键技术的研究

论文摘要

近年来,多分类器融合技术已成为模式识别和机器学习领域研究的热点之一。多分类器融合比单个分类器更有效的理由是融合中的分类器不仅是精确的而且是错误差异的,在保证分类能力的前提下,融合中个体分类器数目越少,系统的复杂性越低。早期构造的个体分类器是直接生成的,但实际中不能保证错误是差异的,所以生成的个体分类器可能是冗余的。为此,人们又提出了“过产生,再选择”的策略。过产生阶段采用直接策略生成融合中的个体分类器;再选择阶段是对过产生阶段的优化,通过优化产生分类效果好的分类器系统。研究者希望能够利用核聚类以及差异性度量对分类器融合性能的预测来指导多分类器的选择过程。本文针对分类器融合的两个目标:融合后的分类器是精确的;融合中的个体分类器是错误差异的。对个体分类器选择算法进行了研究。本文的主要工作包括:(1)提出了一种基于差异性度量的选择性分类器集成方法(Diversity measurebased selected ensemble DMSE),将周志华的选择性集成方法SEME(Selectiveensemble of multiple eigenspaces)引入到多分类器选择中,而且利用了差异性度量的方法,对融合中的分类器进行了选择。实验结果表明,该算法在减少用于融合的分类器数目的同时,保证了准确率比bagging高。(2)提出了一种基于核聚类的多分类器选择算法(Kernel cluster based selectedensemble KCSE),将无监督分类方法核聚类引入到多分类器选择系统中,利用核聚类的准确聚类将特征空间划分为小的区域,从而实现对每个分类器性能的度量。理论分析和实验结果表明,该算法可以获得不错的分类效果。(3)从个体分类器准确率和差异性两方面考虑,提出了一种基于核聚类和差异性度量的多分类器选择算法(Kernel cluster and diversity measure based selectedensemble KCDMSE)。将核聚类和差异性度量分别引入到分类器的选择中,第一阶段利用核聚类进行准确率选择中,我们利用了分类器在某一样本区域识别率比较好,而其他区域差的特性,计算了识别率。第二阶段的差异性选择中,利用了融合的分类器必须有差异才能促进融合,对分类器集进行了选择。通过两次选择保证了个体分类器具有较高的识别准确率和错误差异性,实现了多分类器融合系统的简化和优化。UCI数据库和ELENA数据库上的实验表明,该算法具有较高的分类准确率。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 问题的提出
• 1.2 研究的现状及意义
• 1.3 本文的工作和创新点
• 1.4 论文的组织结构
• 第二章 多分类器融合的研究进展
• 2.1 个体分类器的生成
• 2.1.1 bagging方法
• 2.1.2 boosting方法
• 2.2 多分类器融合的拓扑结构
• 2.2.1 多分类器的级联组合
• 2.2.2 多分类器的并联组合
• 2.2.3 多分类器的混合组合
• 2.3 多分类器输出的综合
• 2.3.1 抽象层的输出融合
• 2.3.2 排序层输出的融合
• 2.3.3 度量层输出的融合
• 2.4 个体分类器选择算法
• 2.4.1 基于聚类的多分类器选择
• 2.4.2 分类器的动态选择
• 2.5 多分类器融合存在的问题
• 2.6 本章小节
• 第三章 基于差异性度量的选择性多分类器集成DMSE
• 3.1 选择性集成的概念
• 3.1.1 GASEN算法
• 3.1.2 SEME算法
• 3.1.3 选择性集成的不足和发展方向
• 3.2 差异性度量的概念
• 3.2.1 一对一差异性度量
• 3.2.2 非一对一差异性度量
• 3.3 基于选择性集成和差异性度量的多分类器选择DMSE
• 3.4 实验仿真及结果分析
• 3.5 小结
• 第四章 基于核聚类的多分类器选择算法KCSE
• 4.1 核聚类方法研究进展
• 4.1.1 聚类分析
• 4.1.2 核函数
• 4.1.3 模糊核聚类方法
• 4.1.4 可能性核聚类方法（KPCM）
• 4.1.5 Mean Shift聚类
• 4.2 基于核聚类的多分类器选择算法KCSE
• 4.2.1 个体分类器选择标准
• 4.2.2 KCSE算法描述
• 4.3 实验仿真及结果分析
• 4.4 本章小结
• 第五章 基于核聚类和差异性度量的多分类器选择算法KCDMSE
• 5.1 基于核聚类和差异性度量的多分类器选择性集成
• 5.1.1 基于核聚类算法的选择器
• 5.1.2 基于差异性度量的选择器
• 5.1.3 KCDMSE算法
• 5.2 实验及结果分析
• 5.2.1 实验目的及步骤
• 5.2.2 实验结果及分析
• 5.3 本章小结
• 第六章 结束语
• 6.1 全文总结
• 6.2 工作展望
• 参考文献
• 致谢
• 发表论文及科研情况