支持向量机学习算法的研究

论文摘要

统计学习理论中的支持向量机方法具有全局最优、结构简单、推广能力强等优点,是目前机器学习和模式识别领域的研究热点之一。但是,支持向量机算法自身复杂性成为其处理数据时的“瓶颈”问题。本文针对支持向量机时间复杂度和空间复杂度等问题,分别就支持向量机的增量学习算法和多类分类算法进行了研究。首先概述了本文研究内容的基础—统计学习理论与支持向量机方法,为本文后续的研究方向和内容进行了铺垫。支持向量机的训练算法需要解决一个大的二次规划最优化问题,传统的二次规划数学算法在求解大数据的二次规划问题时,尤其是针对大规模数据集的分类时,需要巨大的内存空间,所以并不能支持向量机的训练。因此设计适于大量样本的训练算法成为支持向量机研究中的重要内容。目前,出现了比较有效的训练算法和实用软件。本文首先对这些算法进行分析和研究的基础上,给出了一种新的增量学习算法—基于密度的SBA算法,该算法主要引入密度函数来计算样本密度,根据密度选择合适的初始集和新的SBA点,加快了算法的收敛速度。另外,本文针对现有的基于支持向量机的多类分类方法存在的问题以及缺点,如一对多训练速度慢、一对一分类速度慢,给出了一种基于SBA和KNN的多类分类算法,主要是将改进的SBA算法融入到基于二叉树的多分类算法,并对多类分类的初始集的选择进行了改进,可以缩短训练时间,同时在分类过程融入了KNN算法,能够提高分类精度。本文将支持向量机和其他算法相结合,利用其自身的一些特性并结合其他算法的优势,给出了基于密度的SBA算法以及基于SBA和KNN的多类分类方法,并在Matlab 7.0软件平台下进行了实验仿真,对实验结果进行了分析和总结。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题的研究背景、意义和现状
• 1.1.1 课题研究背景、意义
• 1.1.2 课题研究现状
• 1.2 本论文的主要研究内容和结构安排
• 1.2.1 本论文的主要研究内容
• 1.2.2 论文结构安排
• 第二章 支持向量机与统计学习理论
• 2.1 统计学习理论的核心内容
• 2.1.1 学习过程一致性的条件
• 2.1.2 VC 维
• 2.1.3 推广性的界
• 2.1.4 结构风险最小化
• 2.2 支持向量机的理论
• 2.2.1 最优超平面
• 2.2.2 线性情况
• 2.2.3 非线性情况
• 2.2.4 支持向量
• 2.2.5 核函数
• 2.3 本章小结
• 第三章 支持向量机训练算法及其改进
• 3.1 求解大型问题的算法
• 3.1.1 分解算法
• 3.1.2 变形算法
• 3.1.3 几何算法
• 3.2 支持向量机的增量学习研究
• 3.2.1 三种增量学习策略
• 3.2.2 KKT 条件
• 3.2.3 增量学习后支持向量集变化分析
• 3.2.4 基于KKT 条件的增量学习算法
• 3.3 SBA 算法
• 3.3.1 线性可分情形
• 3.3.2 非线性可分情形
• 3.3.3 近似线性可分情形
• 3.3.4 SBA 算法描述
• 3.4 基于密度的SBA 算法
• 3.4.1 选择初始集
• 3.4.2 密度的计算
• 3.4.3 SBA 点的选择
• 3.4.4 基于密度的SBA 算法描述
• 3.5 实验结果与分析
• 3.5.1 实验说明
• 3.5.2 实验数据集
• 3.5.3 试验结果与分析
• 3.6 本章小结
• 第四章 一种新的多类分类算法
• 4.1 引言
• 4.2 现有的多类分类算法
• 4.2.1 一对多分类器
• 4.2.2 一对一分类器
• 4.2.3 决策导向非循环图支持向量机
• 4.2.4 纠错输入编码SVMs
• 4.2.5 一次性求解方法
• 4.3 基于SBA 和KNN 的多类分类算法
• 4.3.1 基于二叉树的支持向量机多类分类
• 4.3.2 基于二叉树的支持向量机的改进
• 4.3.3 训练过程
• 4.3.4 分类过程
• 4.3.5 算法分析
• 4.4 实验结果与分析
• 4.5 本章小结
• 总结与展望
• 参考文献
• 致谢
• 附录A 攻读学位期间所发表的学术论文