支持向量机算法的研究及应用

论文摘要

基于统计学习理论的支持向量机是一种新型的学习方法,它采用结构风险最小化原则,是一个凸二次优化问题,能够保证找到的极值解就是全局最优解,从而在统计样本量较少的情况下获得良好的统计规律和更好的泛化能力,为解决小样本、非线性、高维数等学习问题提供了一个框架,帮助解决了许多其他学习方法难以解决的问题。本文针对支持向量机的理论和应用做了如下研究:在详细分析SVM算法及其属性的基础上,利用SVM的解具有稀疏性的特点,提出了一种基于模糊核聚类的数据约简型支持向量机算法。该算法利用非线性映射和核技巧,通过模糊核聚类方法将数据映射到高维特征空间后聚类,以此来寻找靠近最优分类面的数据,从而进行数据的约简,在保证推广能力不受太大影响的前提下,缩小SVM的求解规模,从而提高其学习速度。实验的结果证实了该数据约简算法的可行性和有效性。为了进一步提高SVM的推广性能,本文提出了一种基于改进Adaboost的ε不敏感支持向量回归集成算法。该算法使用多个支持向量机,按照某种学习规则协调各支持向量机的输出,从而提高其泛化性能。将该方法应用于双酚A生产过程中质量指标的软测量建模,仿真结果表明了该集成算法的可行性和有效性。参数选择是支持向量机研究领域的重要问题之一。针对SVR参数对模型的推广能力影响较大,但目前又无完善的理论指导参数选取这一问题,本文提出了一种基于二分法的核参数解路径算法。在该算法中,随着参数的更新,在已有参数解的基础上进行推导计算以求得当前参数的最优解,而其目标函数的极值所对应的参数值即为最优参数解。数值函数和实际应用例子表明该方法可以快速地求得推广能力最佳的模型所对应的参数。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题背景及意义
• 1.1.1 学习问题的描述
• 1.1.2 经验风险最小化原则
• 1.1.3 结构风险最小化原则
• 1.2 支持向量机理论
• 1.3 SVM 的研究现状
• 1.3.1 支持向量机的理论研究现状
• 1.3.2 支持向量机的应用研究现状
• 1.4 论文的研究内容及安排
• 第二章 标准支持向量机算法介绍
• 2.1 引言
• 2.2 用于分类的SVM 算法
• 2.3 用于回归的SVM 算法
• 2.4 非线性SVM 算法
• 2.5 SVM 属性分析
• 2.6 本章小结
• 第三章 基于模糊核聚类的数据约简型支持向量机算法
• 3.1 引言
• 3.2 Mercer 核与模糊核聚类
• 3.2.1 Mercer 核
• 3.2.2 模糊核聚类算法
• 3.3 基于模糊核聚类的数据约简型支持向量机算法
• 3.4 仿真实验
• 3.5 本章小结
• 第四章 基于改进 Adaboost 的支持向量回归集成算法
• 4.1 引言
• 4.2 Adaboost 算法原理
• 4.3 改进的 Adaboost 的ε不敏感支持向量回归算法
• 4.4 仿真实验
• 4.4.1 一维函数仿真
• 4.4.2 AdaSVR 在双酚A 软测量中的应用
• 4.5 本章小结
• 第五章 基于核路径算法的支持向量回归机参数选择
• 5.1 引言
• 5.2 核参数路径算法
• 5.2.1 支持向量回归机中的问题描述
• 5.2.2 支持向量回归机中的核路径算法
• 5.3 仿真实验
• 5.3.1 一维函数仿真
• 5.3.2 核路径算法在双酚A 软测量中的应用
• 5.4 本章小结
• 第六章 总结与展望
• 6.1 本文的工作总结
• 6.2 今后工作展望
• 致谢
• 参考文献
• 附录：作者在攻读硕士学位期间发表的论文