多分类器动态集成技术研究及其应用

论文摘要

一个优秀的机器学习系统必须有着很强的泛化能力,也就是说,根据已知数据形成的模型可以很好的处理未知的数据。多分类器集成技术是将多个个体学习器(基分类器)按照一定的规则集成起来,充分利用个体学习器之间的互补性,以此来取得更好的泛化能力和鲁棒性。多分类器动态集成技术是多分类器集成技术的一个重要分支,它的主要思想是针对不同的待分类样本动态的选择不同的基分类器进行集成,以达到更强的灵活性和针对性,而且在很多情况下会取得比传统的多分类器集成方法更好的效果。因此,近年来多分类器动态集成技术的研究备受关注,成为科技前沿之一。本文以提高分类器泛化能力为出发点,对多分类器集成技术,以及多分类器动态集成技术做了系统的研究。本文主要工作如下：(1)对多分类器集成的研究背景、意义、现状和存在的问题做了简单介绍,对多分类器集成技术的原理进行了详细介绍。概述了多分类器集成技术及动态集成技术的一般性框架的基础上,分析了集成有效性的原因。对目前流行的多种静态和动态集成方法进行了对比,并分析了他们的局限性。(2)提出了一种基于加权错误率的动态集成技术模型。首先分析了目前流行的多分类器动态集成方法的局限性,考虑到他们将“能力区域”局限于部分样本而且对能力区域中样本等同对待,而且大多数算法都需要手动设置参数,这是目前多分类器动态集成技术效果不稳定的主要原因。本文从该角度出发,将“能力区域”扩展到整个样本集,将“能力区域”中不同样本对待测样本的影响进行了量化,避免了人工设置参数的影响。将动态选择算法、动态加权融合算法以及动态选择性加权融合算法应用于该模型,经过在UCI数据库及BMP隐密分析数据中测试,与目前流行的的动态及静态集成算法进行了比较,应用于本文模型的三种算法在低维空间中具有更强的适用性。(3)提出了一种基于动态RSS和Fisher的隐密分析分类器(DCSW_RF)。传统JPEG隐密分析方法是提取特征后,训练SVM模型,利用该模型对未知样本进行分类。但是随着特征维数的增多,SVM的耗费时间过长而且有时会完全失效。本文利用DCSW_RF代替SVM,通过实验与SVM对比,结果表明本文提出的DCSW RF的速度和准确性均优于SVM。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 课题研究背景及意义
• 1.2 多分类器集成的研究发展与现状
• 1.2.1 多分类器静态集成的发展与现状
• 1.2.2 多分类器动态集成的发展与现状
• 1.3 本文的研究内容和结构
• 2 多分类器集成技术研究
• 2.1 引言
• 2.2 多分类器集成的基本概念
• 2.3 多分类器集成有效性的原因
• 2.4 多分类器集成框架
• 2.4.1 基分类器的生成
• 2.4.2 基分类器的集成规则
• 2.5 多分类器动态集成框架
• 2.6 本章小结
• 3 多分类器集成方法介绍
• 3.1 引言
• 3.2 多分类器静态集成算法介绍
• 3.2.1 Boosting
• 3.2.2 Bagging
• 3.2.3 Random Subspace Method
• 3.2.4 多分类器静态集成算法的比较
• 3.3 多分类器动态集成算法介绍
• 3.3.1 基于kNN准则的动态集成方法
• 3.3.2 基于聚类准则的动态集成方法
• 3.3.3 基于不同数据集的动态集成方法
• 3.3.4 多分类器动态集成算法分析
• 3.4 本章小结
• 4 基于加权错误率的动态集成算法
• 4.1 引言
• 4.2 基于加权错误率的动态集成技术
• 4.2.1 交叉验证技术的选取
• 4.2.2 基于加权错误率的动态集成技术模型
• 4.2.3 实验及结果分析
• 4.3 本章小结
• 5 集成学习在JPEG隐密分析中的应用
• 5.1 引言
• 5.2 基于动态RSS和Fisher的隐密分析分类器
• 5.2.1 对Fisher线性分类器的分析
• 5.2.2 基于动态RSS和Fisher的隐密分析分类器原理
• 5.2.3 实验及结果分析
• 5.3 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表学术论文情况
• 致谢