支持向量机集成学习方法研究

论文摘要

支持向量机(Support Vector Machine,SVM)是近年来受到广泛关注的一类学习机器,它以统计学习理论(Statistical Learning Theory,SLT)为基础,具有简洁的数学形式、标准快捷的训练方法和良好的泛化性能,已广泛应用于模式识别、函数估计和时间序列预测等数据挖掘问题。但在SVM的研究中仍然存在许多问题尚待解决,例如:模型选择问题、针对大规模训练集的学习效率问题等。目前,在SVM的学习训练过程中,几乎所有研究都以单个支持向量机作为训练器,关于SVM的多学习器学习方法研究甚少。集成学习(EnsembleLearning)技术作为一种有效的多学习器学习方法已获得许多有价值的结果,将集成学习技术引入到SVM学习中,可以更好地提高SVM的泛化能力,因此,基于集成学习的SVM学习方法研究成为目前SVM研究中一个重要的方向。本文对SVM集成学习方法进行了系统地研究,主要内容如下:(1)对于集成学习技术的理论分析、实现方法的设计和实际应用进行了系统地研究。(2)对现有的集成学习方法进行了简要介绍,分析了两种经典的集成学习方法Bagging和Boosting、比较了两者的优缺点、考察了它们的生效机制。(3)提出两种回归SVM集成学习方法,即:基于Bagging的回归SVM集成学习方法和基于参数变换的回归SVM集成学习模型。(4)提出了一种回归SVM选择性集成学习方法,通过采用特定阈值选择合适的子SVM,从而进一步提高整个SVM的效率;分析了阈值变化对选择性集成学习的影响、集成规模与选择性集成规模的关系、集成规模与集成学习效果的关系。(5)通过标准数据集和真实数据集对本文提出的三种方法进行验证,取得了预期效果。本文对回归SVM集成学习方法和选择性集成学习方法进行了初步的研究与探索,作为SVM研究中的一个新问题,本文的研究成果不仅具有重要的理论意义,而且对于实际问题具有直接的应用价值。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.3 论文的主要工作
• 第二章 统计学习理论和支持向量机
• 2.1 统计学习理论
• 2.1.1 学习问题的一般表示
• 2.1.2 学习机器推广能力的界
• 2.2 支持向量机简介
• 2.2.1 支持向量分类机
• 2.2.2 支持向量回归机
• 2.2.3 核映射
• 2.3 本章小结
• 第三章 集成学习方法的分析与研究
• 3.1 集成学习方法简介
• 3.1.1 集成学习方法及实现策略
• 3.1.2 子学习器的生成方法
• 3.1.3 子学习器的结合方法
• 3.2 经典的集成学习方法
• 3.2.1 Bagging方法及其性能分析
• 3.2.2 Boosting算法族及其性能分析
• 3.2.3 Bagging方法与Boosting方法的比较
• 3.3 本章小结
• 第四章 支持向量机集成学习方法
• 4.1 基于Bagging的回归SVM集成学习方法
• 4.1.1 数据集说明及误差评价指标
• 4.1.2 实验结果及分析
• 4.2 基于参数变换的回归SVM集成学习方法
• 4.2.1 数据集说明及误差评价指标
• 4.2.2 实验结果及分析
• 4.3 本章小结
• 第五章 支持向量机选择性集成学习方法
• 5.1 选择性集成学习方法
• 5.2 SVM选择性集成学习方法
• 5.2.1 基本思想
• 5.2.2 算法描述
• 5.3 实验结果及分析
• 5.4 集成规模对选择性集成的影响实验结果及分析
• 5.5 本章小结
• 第六章 结论和展望
• 参考文献
• 发表文章目录
• 致谢
• 个人简况及联系方式