支持向量机建模方法的研究

论文摘要

支持向量机是Vapnik教授领导的研究小组于上世纪末提出的一种机器学习的新方法,是统计学习理论的核心部分,是处理小样本学习的有效工具。支持向量机作为统计学习理论的实现方法,能很好地解决非线性和高维数问题,克服了神经网络方法收敛慢、解不稳定、推广性差的缺点,近年来得到了广泛地研究,在模式识别、信号处理、控制、通讯等方面得到了广泛地应用。因此,研究支持向量机的理论和应用问题具有重要的理论与现实意义。回归估计是支持向量机方法的重要研究领域,本文以支持向量机理论为基础,对回归问题的方法进行了研究。全文共分六章,具体内容如下：1.介绍了机器学习领域中统计学习理论的基本思想和方法,进一步详细说明了结构风险最小化原理,同时,对支持向量机的发展进行了概括性的总结；2.在深入分析支持向量机基本原理的基础上,对目前的支持向量机的改进算法进行了总结,同时,将各种算法与传统算法进行了比较；3.针对非线性建模问题,提出一种新的支持向量机核函数构造方法,对高斯核函数在支持向量密集处拟合效果差的缺点进行了改进,仿真研究结果显示,新方法可以一定程度上减少泛化误差；4.提出了一种基于Fisher判别率的支持向量机回归算法。该方法通过引入样本内部相似程度的判别因子来减少样本错分几率,理论分析与仿真实验均验证了算法的有效性和优越性；5.提出了一种新的用于回归的支持向量机增量算法。该算法与传统算法相比,可以在满足模型精度要求的基础上,明显地提高算法的计算速度。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 论文研究背景
• 1.2 统计学习理论
• 1.2.1 经验风险最小化原则
• 1.2.2 结构风险最小化原则与VC维
• 1.3 支持向量机研究现状与应用
• 1.3.1 支持向量机研究现状
• 1.3.2 支持向量机的应用
• 1.4 本文的主要工作及内容安排
• 第二章 支持向量机算法简介
• 2.1 支持向量分类
• 2.1.1 线性可分支持向量机
• 2.1.2 非线性分类支持向量机
• 2.2 支持向量回归
• 2.3 各种支持向量机算法
• 2.3.1 C-SVM算法
• 2.3.2 BSVM算法
• 2.3.3 ν-SVM算法
• 2.3.4 One-class SVM算法
• 2.3.5 RSVM算法
• 2.3.6 LS-SVM算法
• 2.4 各种支持向量算法的比较与总结
• 2.5 小结
• 第三章 核函数的改进与应用研究
• 3.1 核函数方法简介
• 3.1.1 核函数的定义
• 3.1.2 核函数的构造
• 3.2 几何学方法提高核函数效果
• 3.3 基于放大因子的核函数构造方法
• 3.3.1 高斯（RBF）核函数
• 3.3.2 内积核函数
• 3.3.3 核函数保角变换
• 3.4 参数的选择
• 3.4.1 κ的选择
• 3.4.2 D（x）的选择
• 3.5 仿真实验
• 3.6 小结
• 第四章 基于FISHER判别率的支持向量机回归算法的研究
• 4.1 用于分类的MCVSVM算法
• 4.1.1 问题描述
• 4.1.2 Fisher判别分析
• 4.1.3 MCVSVM算法
• 4.1.4 小结
• 4.2 基于Fisher判别率的支持向量机回归算法
• 4.2.1 基于Fisher判别率的线性软间隔支持向量机回归算法
• 4.2.2 非线性问题的求解方法
• 4.2.3 改进后算法与原算法的关系
• 4.2.4 仿真实验
• 4.2.5 小结
• 第五章 增量支持向量机回归算法的研究
• 5.1 增量支持向量机基本算法
• 5.1.1 支持向量机回归和KKT条件
• 5.1.2 添加新样本的递增算法
• 5.2 新的增量学习算法
• 5.3 新的增量算法中的参数优化
• 5.3.1 摄动参数的调整
• 5.3.2 核参数的调整
• 5.4 仿真实验
• 5.5 小结
• 第六章 结论与展望
• 参考文献
• 致谢