支持向量机增量学习算法研究

论文摘要

Vapnik于1995年提出支持向量机(Support Vector Machine,SVM)这一针对分类和回归问题的统计学习理论,是利用线性函数假设高维特征空间的学习系统。支持向量机自推出即刻成为机器学习和模式识别领域的研究热点,而且因其全局最优以及推广能力强的优点,近几年无论是在理论上还是应用上都得到了广泛的关注并取得了诸多成果。但由于支持向量机方法复杂,导致在处理大规模数据集时存在相关问题。因此本文从降低时间和空间复杂度的角度出发,主要针对支持向量机的增量学习问题展开以下几个方面的研究。首先介绍了统计学习理论与支持向量机方法,这一部分是后续研究内容的理论前提。描述并比较了目前研究与应用较多的几种支持向量机增量学习算法,分析了基于支持向量和基于KKT条件等代表算法的特点和不足;吸取了基于超球支持向量机增量学习策略中的几何知识,以及借鉴了渐进式增量学习策略适合处理较大规模数据集的优势,为下面即将提出的改进算法提供了思路和方法。在上述分析总结的基础上,提出了一种基于壳向量的支持向量机渐进式增量学习算法;在增量学习的过程中,首先在原始样本中提取出壳向量,将其作为新的训练样本集,这样很大程度上降低了求取支持向量过程中的二次优化时间;同时利用由原始分类器所确定的KKT条件来淘汰一部分新增样本,以降低新增样本的数量及其训练的时间。总之,该算法在训练过程中对历史样本以及新增样本较好地实现了有选择性的遗忘淘汰机制,同时保证良好的分类精度。仿真实验表明了算法的有效性。最后,将所提出来的支持向量机增量学习算法在手写数字识别系统中进行了应用研究。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.3 研究内容和意义
• 1.4 论文的体系结构
• 第2章 支持向量机算法概述
• 2.1 统计学习理论基础
• 2.1.1 学习一致性
• 2.1.2 VC 维
• 2.1.3 结构风险最小化
• 2.2 支持向量机概述
• 2.2.1 最优分类面
• 2.2.2 非线性分类问题
• 2.2.3 核函数
• 2.3 本章小结
• 第3章 支持向量机的增量学习算法
• 3.1 增量学习
• 3.2 支持向量机的增量学习
• 3.2.1 支持向量
• 3.2.2 支持向量机的增量学习描述
• 3.3 几种具有代表性的SVM 增量学习策略
• 3.3.1 基于错误率最小的增量学习策略
• 3.3.2 基于KKT 条件的增量学习策略
• 3.3.3 支持向量机的渐进式增量学习策略
• 3.3.4 基于超球支持向量机的类增量学习策略
• 3.4 本章小结
• 第4章 基于壳向量的支持向量机渐进增量学习算法
• 4.1 壳向量
• 4.1.1 支持向量与壳向量
• 4.1.2 壳向量的求解算法
• 4.2 基于壳向量的支持向量机渐进增量学习算法
• 4.2.1 增量学习的算法思想
• 4.2.2 增量学习算法的主要步骤
• 4.2.3 算法的时间复杂度分析
• 4.3 数据仿真
• 4.3.1 实验结果
• 4.3.2 分析与结论
• 4.4 本章小结
• 第5章 SVM 增量学习算法在手写数字识别中的应用
• 5.1 应用背景介绍
• 5.2 基于壳向量的SVM 渐进增量学习策略在手写数字识别系统中的实验
• 5.2.1 预处理
• 5.2.2 分类器设计
• 5.2.3 实验结果
• 第6章 总结与展望
• 6.1 论文总结
• 6.2 展望
• 参考文献
• 致谢
• 攻读硕士学位期间发表的论文