多分类器动态集成技术研究

论文摘要

分类所关心的一个根本问题是如何有效地提高分类系统的泛化能力。尽管传统的分类技术在一些领域已经得到了成功应用,其泛化能力也得到一定程度的认可,但是随着时代的进步和科学技术的不断发展,人们对其技术成果有了更高的要求,这就意味着需要开发新的有效技术来满足人们深层次的需求。多分类器集成技术就是在这样的背景下产生的,它通过集成多个满足一定条件的学习个体来达到有效改善分类系统泛化能力和鲁棒性的目的。分类器集成已成为机器学习和数据挖掘等领域的一个研究热点,其研究人员众多,成果亦层出不穷。论文比较全面地介绍了分类器集成的研究现状、工作原理以及常见方法。重点探讨了多分类器集成的一个重要分支—多分类器动态集成技术,并就当前多分类器动态集成方法所存在的一些不足,提出了相应的解决方案,有效地改善了集成系统的分类性能。论文的主要研究成果包括以下几个方面:1、系统介绍了多分类器集成技术的发展现状、相关概念和工作机制。详细讨论了三种经典的多分类器集成方法。2、探究了多分类器动态集成技术的基本原理。总结了动态集成的基本框架。对当前常见的动态集成方法进行了分类整理,并概要地归纳了这些动态方法存在的主要不足。3、针对动态集成方法在训练样本不足情形下对基分类器的“局部分类性能”评估不可靠的问题,将交叉验证技术引入到动态集成过程,提出一类基于交叉验证的动态加权集成方法,具体包括四种方法,分别为DWEC-CV-KOLP、DWEC-CV-KLCP、DWEC-CV-OLA、DWEC-CV-LCA。利用UCI数据库中的小规模数据集对提出的四种方法进行了实验验证。实验结果表明,同一些经典的集成方法相比,当训练集规模不是很大时,提出的方法可以获得更好的分类效果。4、为了消除待测样本邻域中“假邻居”样本对基分类器局部性能分析造成的干扰,在构造邻域的过程中引入了“多分类器行为”信息,提出了一种基于多分类器行为的动态加权集成方法DWEC-CV-MCB。实验表明,改进后的方法不仅可以获得较优良的分类性能,同时可以降低人工选定参数K带来的风险和代价。5、研究了如何利用动态集成技术来提高分类系统的增量分类能力。针对增量式集成算法Learn++的两点不足,提出了一种基于动态选择的增量式集成算法,改善了分类系统的增量学习效果和泛化性能。

论文目录

摘要

ABSTRACT

第一章绪论

1.1 研究背景与意义

1.2 国内外研究进展概述

1.2.1 多分类器集成的国内外研究进展

1.2.2 多分类器动态集成的国内外研究进展

1.3 本文的研究目标及主要工作

1.4 论文结构安排

第二章多分类器集成技术研究

2.1 多分类器集成的概念与定义

2.2 多分类器集成有效的原因

2.3 多分类器集成的框架

2.3.1 基分类器的生成

2.3.2 基分类器的集成方式

2.3.3 基分类器输出的组合

2.3.4 多分类器的集成结构

2.4 常见的多分类器集成方法介绍

2.4.1 Bagging

2.4.2 Boosting

2.4.3 Random Subspace

2.5 本章小结

第三章多分类器动态集成技术研究

3.1 动态集成技术的提出

3.2 动态集成技术的原理

3.3 多分类器动态集成的框架

3.4 多分类器动态集成方法介绍

3.4.1 基于KNN规则的动态集成方法

3.4.2 基于聚类技术的动态集成方法

3.4.3 基于数据集的动态集成方法

3.4.4 其它一些动态集成方法

3.5 多分类器动态集成研究存在的主要问题

3.6 本章小结

第四章基于交叉验证的多分类器动态加权集成

4.1 多分类器加权集成简介

4.2 多分类器动态加权的意义

4.3 基于交叉验证的多分类器动态加权集成

4.3.1 问题的提出及解决方案

4.3.2 交叉验证技术简介

4.3.3 算法的基本框架

4.3.4 算法的具体描述

4.3.5 实验及实验分析

4.4 本章小结

第五章基于多分类器行为的动态加权集成

5.1 算法的提出

5.2 有效邻域的确定

5.3 DWEC-CV-MCB算法描述

5.4 实验及实验分析

5.5 本章小结

第六章基于动态选择的增量式集成分类

6.1 增量学习简介

6.2 增量式集成方法Learn++

6.3 基于动态选择的增量式集成方法

6.3.1 算法的改进

6.3.2 基于动态选择的增量式集成方法

6.3.3 实验及实验分析

6.4 本章小结

第七章结论与展望

7.1 本文的主要工作及结论

7.2 对今后工作研究的建议

致谢

参考文献

附录1: 读研期间发表的论文

附录2: 读研期间参与的项目

多分类器动态集成技术研究

论文摘要

论文目录

相关论文文献

猜你喜欢