若干求解大规模问题的支持向量机算法

论文摘要

支持向量机（SVM）是在统计学习理论上的基础上发展起来的新一代学习算法,Vapnik在1992年将其介绍进入机器学习领域之后受到了广泛的关注。SVM在20世纪90年代中后期得到了全面深入的发展,现在成为机器学习和数据挖掘领域的标准技术。它集成了最大间隔超平面、Mercer核、凸二次规划、稀疏解和松弛变量等多项技术。本文在介绍支持向量机基本算法及其变形的基础上,主要研究求解大规模问题的两种方法:一种是支持向量聚类技术,另一种是拉格朗日减量学习算法。支持向量聚类技术（SVC）主要有三个步骤:先通过解一个优化问题的对偶问题来找出一个最小超平面;其次通过给所有点加以分配以确认该点所在的类;最后需对参数进行调整。第一步对偶问题的规模就是输入数据的规模,它往往是整个运算的瓶颈,但问题的解仅仅依赖于输入空间的支持向量,其他的输入对结果没有任何影响却大幅度的增加了聚类的复杂性。本文基于R*-tree数据结构做出数据预处理,避免所有的样本都参与训练,缩小样本空间,从而大大提高训练速度。本文对拉格朗日支持向量机（LSVM）减量算法求逆循环做出改进,利用上一矩阵求逆的结果对矩阵变换,根据原算法矩阵特性避免直接求逆而直接算得下一矩阵的逆,将这种方法在LSVM加以实现,通过数值实验得到比原算法更优秀的结果。

论文目录

• 摘要
• Abstracts
• 1 绪论
• 1.1 引言
• 1.2 预测学习方法
• 1.3 统计学习理论
• 1.4 本文的组织结构
• 2 支持向量机模型与算法
• 2.1 支持向量机的标准算法
• 2.2 支持向量机的两种改进算法模型
• 2.3 本章小结
• 3 基于数据预处理的支持向量聚类算法
• 3.1 支持向量聚类思想及其算法
• 3.2 支持向量聚类算法的数据预处理
• 3.3 数值实验
• 3.4 本章小结
• 4 支持向量机增量与减量学习
• 4.1 支持向量机增量学习算法
• 4.2 支持向量机减量学习算法
• 4.3 拉格朗日支持向量机减量学习算法
• 4.4 数值实验
• 4.5 本章小结
• 5 总结与展望
• 5.1 本文总结
• 5.2 工作展望
• 致谢
• 参考文献
• 攻读硕士期间主要成果和奖励