一种基于小波变换特征提取的集成学习算法

论文摘要

国际权威T.G. Dietterich将集成学习列为机器学习四大研究方向之首。泛化能力是评价机器学习算法好坏的重要指标。集成学习通过某种策略组合分类算法,能够有效地提高算法的泛化能力。创建泛化能力强、差异大的基分类器是集成学习算法成功的关键。小波变换作为一种有效的特征提取方法,因其在时域和频域都具有良好的局部特性,近年来受到学者们的密切关注。设计出具有高泛化能力的集成学习算法,一直是集成学习研究的热点问题之一。论文在分析和学习经典集成算法的基础上,提出一种基于小波变换特征提取的集成学习算法,即Wavelet-Forests算法。该算法的主要思想是通过构造具有差异性的基分类器,提高集成学习算法的泛化能力。在构造基分类器时,Wavelet-Forests算法采用处理训练数据集和处理输入特征相结合的方法,将特征集随机划分为多个特征子集,根据每个划分的特征子集,选择一个非空类子集对应的数据子集,再对这些数据子集采用自助法生成新的数据子集。在新的数据子集上实施小波变换,得到每个数据子集对应的小波系数矩阵。整合小波系数矩阵,得到基分类器的训练数据集。在集成基分类器时,采用平均法计算每个类的权,返回具有最大权的类。为了验证Wavelet-Forests算法的可行性和有效性,论文使用数据挖掘领域公认的WEKA平台实现该算法。采用UCI数据库提供的标准数据集,将Wavelet-Forests算法与单个分类器J48,以及Bagging、AdaBoost和Random Forest等经典集成算法的性能进行比较,使用准确率和ROC曲线分析实验结果。实验结果表明,Wavelet-Forests集成学习算法具有较高的准确率,可以用来处理不平衡类问题。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 集成学习的研究意义
• 1.2 集成学习的研究现状
• 1.3 集成学习的研究热点
• 1.4 小波变换的发展简介
• 1.5 论文主要工作
• 第2章 集成学习的相关理论
• 2.1 集成学习的框架
• 2.1.1 基分类器的生成方法
• 2.1.2 基分类器的集成方法
• 2.2 集成学习的必要条件
• 2.2.1 准确率
• 2.2.2 差异性
• 2.3 集成学习的经典算法
• 2.3.1 Bagging 算法
• 2.3.2 Boosting 算法
• 2.3.3 Random Forest 算法
• 第3章 基于小波变换的特征提取
• 3.1 小波变换的基本原理
• 3.1.1 连续小波和离散小波
• 3.1.2 多分辨分析
• 3.1.3 Mallat 算法
• 3.2 特征提取的相关理论
• 3.2.1 特征提取的定义
• 3.2.2 特征提取常用方法
• 3.3 小波变换特征提取算法
• 3.3.1 小波特征提取的意义
• 3.3.2 小波特征表示常用方法
• 3.3.3 算法基本思想
• 3.3.4 算法伪代码
• 第4章 Wavelet-Forests 算法设计和实现
• 4.1 算法设计思想
• 4.2 基分类器的生成
• 4.3 基分类器训练集的差异性来源
• 4.4 Wavelet-Forests 算法的实现
• 4.4.1 Wavelet-Forests 算法的实现平台WEKA
• 4.4.2 Wavelet-Forests 算法的伪代码
• 第5章 Wavelet-Forests 算法性能分析
• 5.1 实验环境设置
• 5.1.1 数据集
• 5.1.2 实验数据预处理
• 5.1.3 实验参数选择
• 5.1.4 评估方法选择
• 5.2 算法的准确率分析
• 5.2.1 准确率
• 5.2.2 置信区间
• 5.2.3 实验结果
• 5.3 算法的ROC 曲线分析
• 5.3.1 ROC 曲线
• 5.3.2 AUC 面积
• 5.3.3 实验结果
• 5.4 算法性能总结
• 第6章 结语
• 6.1 论文总结
• 6.2 工作展望
• 参考文献
• 致谢
• 攻读硕士学位期间科研情况