支持向量机训练算法的研究与优化

论文摘要

支持向量机(SVM)是由Vapnik在统计学习理论的基础上提出的一个新的通用的机器学习方法。由于在学习问题中出色的泛化性能,支持向量机已经引起广泛关注并应用于多个领域当中,例如:手写字体数字识别、网页分类、人脸识别。然而,支持向量机作为一种新的技术,还存在许多开放性的问题值得进一步的认真研究。本文针对传统支持向量机在解决大规模或超大规模训练问题时计算时间、内存占用和计算精度等方面的不足,提出了一种基于自适应步长的支持向量机快速训练算法;利用人工免疫算法进行支持向量机模型选择,从而提高了支持向量机分类的正确性;针对当两类样本数量相差悬殊时,会引起支持向量机分类能力下降的问题,提出了一种非平衡数据分类算法,该算法能够有效提高支持向量机对非均衡分布数据分类的正确性。上述算法在UCI标准数据集上进行的实验证明是可行的。最后一节,论文总结主要工作并对未来工作进行展望。

论文目录

• 摘要
• Abstract
• 1 前言
• 1.1 研究背景
• 1.2 选题意义
• 1.3 国内外的研究现状和进展
• 1.3.1 SVM算法的训练速度问题及其大规模数据问题的研究
• 1.3.2 支持向量机模型选择问题的研究
• 1.3.3 支持向量机对非平衡数据集分类问题的研究
• 1.4 论文的主要研究内容及组织结构
• 2 支持向量机理论基础
• 2.1 学习问题的模型
• 2.2 经验风险最小化原则
• 2.3 VC维
• 2.4 推广能力的界
• 2.5 结构风险最小化（SRM）原则
• 2.6 支持向量机
• 2.6.1 最优分类面
• 2.6.2 线性支持向量机
• 2.6.3 非线性支持向量机
• 2.7 本章小结
• 3 基于自适应步长的支持向量机快速训练算法
• 3.1 引言
• 3.2 常见的启发式算法
• 3.2.1 KKT条件
• 3.2.2 块选算法（Chunking）
• 3.2.3 分解算法（Decomposition Algorithm）
• 3.2.4 序贯最小化算法（Sequential Minimal Optimization）
• 3.3 基于自适应步长的支持向量机快速训练算法
• 3.3.1 D.Lai的改进算法
• 3.3.2 D.Lai改进算法的不足
• 3.3.3 基于自适应步长的支持向量机快速训练算法
• 3.4 试验
• 3.4.1 试验结果
• 3.5 小结
• 4 基于人工免疫的支持向量机模型选择算法
• 4.1 引言
• 4.2 免疫学基本原理
• 4.2.1 自然免疫系统机制
• 4.2.2 自然免疫的学习进化
• 4.3 人工免疫算法
• 4.3.1 人工免疫算法基本结构
• 4.3.2 亲和度评价算子
• 4.3.3 克隆选择算法
• 4.4 基于人工免疫的支持向量机模型选择算法
• 4.4.1 算法基本思想
• 4.4.2 算法步骤
• 4.5 试验结果及分析
• 4.6 小结
• 5 基于最小二乘支持向量机的非平衡分布数据分类算法
• 5.1 支持向量机分类算法对不平衡数据集的性能分析
• 5.1.1 不均衡数据集分类评价标准
• 5.1.2 支持向量机算法对不平衡数据集的分类问题
• 5.1.3 解决支持向量机对不平衡数据集的几种方法
• 5.2 基于支持向量机增量学习的不平衡数据分类算法
• 5.2.1 最小二乘支持向量机原理
• 5.2.2 增量学习算法
• 5.2.3 最小二乘支持向量机稀疏化算法
• 5.2.4 基于支持向量机增量学习的不平衡数据分类算法
• 5.3 实验
• 5.3.1 实验内容
• 5.4 小结
• 6 总结及展望
• 6.1 本文总结
• 6.2 今后的工作
• 致谢
• 参考文献
• 附录
• 攻读硕士期间发表的论文
• 在校期间所获奖励