支持向量机中核函数和参数选择研究及其应用

论文摘要

支持向量机(Support Vector Machine,SVM)是二十世纪九十年代发展起来的统计学习理论的重要内容,它是由AT&T Bell实验室的V.Vapnik等人提出的一种针对分类和回归问题的新型机器学习方法,它借助于最优化方法解决机器学习问题,集成了最优超平面、Mercer核函数、凸二次规划、稀疏解和松弛变量等多项技术,具有全局最优、结构简单、推广能力强等优点,在模式分类、回归分析和概率密度估计等若干方面获得非常好的应用效果。然而,支持向量机还处于不断发展和完善之中。本文针对SVM的模型、核函数的构造、SVM参数选择和孤立点检测四个方面进行了研究。具体内容如下：一、概述了本文研究内容的基础—统计学习理论与支持向量机方法,描述并比较了目前研究与应用较多的几种训练算法和变形算法,为本文后续的研究内容进行了铺垫。二、引入模糊逻辑思想,提出了基于高斯核函数和Sigmoid核函数、高斯核函数和模糊Sigmoid核函数的两种新的混合核函数。这两种混合核函数集聚了局部核函数和全局核函数的优点,提高了SVM算法的学习精度并减少了学习时间。实验结果表明,基于这两种混合核函数的SVM,不论在分类精度还是分类时间上都优于传统基于单一核函数的SVM算法。三、在传统遗传算法与梯度算法的基础下,提出了一种自适应混合遗传算法并应用于支持向量机的模型参数选择研究中。仿真实验表明了该算法应用于SVM模型参数选择中选出的参数比传统的遗传算法、交叉验证和网格搜索等算法选择出的参数都要好,提高了SVM的识别精度。四、根据ε—SVR和v—SVR中的参数ε和v的特殊意义,提出了基于ε—SVR的回归分析中的孤立点检测方法和基于v—SVR的回归分析中的孤立点检测方法。实验结果表明,提出的基于ε—SVR的回归分析中的孤立点检测方法和基于v—SVR的回归分析中的孤立点检测方法可以准确有效地检测出回归分析过程中的孤立点。

论文目录

• 致谢
• 摘要
• Abstract
• 第一章 绪论
• 1.1 论文研究的目的及其意义
• 1.2 国内外研究现状、发展动态
• 1.3 本文的主要工作及创新点
• 第二章 支持向量机基础理论
• 2.1 理论基础
• 2.2 支持向量机概述
• 2.2.1 最优分类超平面
• 2.2.2 线性可分支持向量机
• 2.2.3 线性不可分支持向量机
• 2.2.4 非线性可分支持向量机
• 2.3 支持向量机的几种典型训练算法
• 2.3.1 Chunking方法
• 2.3.2 分解算法
• 2.3.3 序列最小优化算法（SMO方法）
• 2.4 支持向量机的变形算法
• 2.5 本章小结
• 第三章 SVM混合核函数的构造
• 3.1 核函数及其主要性质
• 3.1.1 核函数、Mercer核及正定核
• 3.1.2 核函数的性质及其构造
• 3.1.3 SVM中常用的核函数
• 3.2 基于高斯核函数和Sigmoid核函数的混合核函数支持向量机
• 3.2.1 混合核函数的提出
• 3.2.2 仿真结果与分析
• 3.3 基于高斯核函数和模糊Sigmoid核函数混合核函数支持向量机
• 3.3.1 混合核函数的提出
• 3.3.2 仿真结果与分析
• 3.4 本章小结
• 第四章 基于自适应混合遗传算法的SVM参数选择研究
• 4.1 参数对SVM的影响及其选取原则
• 4.1.1 参数对SVM的影响
• 4.1.2 参数选取原则
• 4.2 遗传算法介绍
• 4.2.1 遗传算法的基本流程
• 4.2.2 遗传算法基本操作
• 4.3 自适应遗传算法及其改进
• 4.3.1 传统的自适应遗传算法
• 4.3.2 改进的自适应遗传算法
• 4.4 SVM中的梯度算法
• 4.4.1 LOO误差及其和SVM期望风险的关系
• 4.4.2 梯度算法
• 4.5 支持向量机参数选择的自适应混合遗传算法
• 4.5.1 算法的提出
• 4.5.2 数值实验
• 4.6 本章小结
• 第五章 基于支持向量回归机的孤立点检测
• 5.1 孤立点检测概述
• 5.1.1 孤立点的定义
• 5.1.2 孤立点检测方法和应用领域
• 5.2 ε-支持向量回归机和v-支持向量回归机
• 5.2.1 ε-支持向量回归机
• 5.2.2 v-支持向量回归机
• 5.3 两类支持向量回归机的性质和关系
• 5.3.1 ε-支持向量回归机中的稀疏性
• 5.3.2 v-支持向量回归机的性质
• 5.3.3 两类支持向量回归机之间的关系
• 5.4 基于ε-SVR的孤立点检测算法
• 5.4.1 算法的提出
• 5.4.2 数值实验
• 5.5 基于v-SVR的孤立点检测算法
• 5.5.1 算法的提出
• 5.5.2 数值实验
• 5.6 本章小结
• 第六章 总结与展望
• 6.1 本文总结
• 6.2 展望
• 参考文献
• 详细摘要
• Abstract