基于边界向量预选的支持向量机算法研究

论文摘要

支持向量机是一种基于统计学习理论的新一代机器学习技术,已广泛应用于手写数字识别、人脸识别、文本分类、回归预测、时间序列分析等领域。支持向量机的计算复杂度取决于训练样本的个数,所以面对具有大数据量的现实问题时,支持向量机的训练效率低下。根据支持向量机理论,训练出的最优分类超平面只与支持向量有关。大部分情况下训练样本中的支持向量很少,所以在训练前确定一个小范围的边界向量集,使其包括全部的支持向量,用此边界向量集进行训练,则可以在不影响分类精度和泛化性能的前提下显著缩短支持向量机的训练时间。本文在研究总结了边界向量预选算法的基础上,将其大致归纳为两类,一类是基于类中心型的边界向量预选算法,一类是基于NN型的边界向量预选算法。并针对基于类中心型的预选算法只对均匀分布的训练样本预选效果好的缺点,利用数学建模的方法提出一种新的改进算法;针对基于NN型的预选算法预选边界向量集过大或过小的缺点,利用密度聚类的方法进行算法改进。实验表明在不降低泛化精度的前提下,能有效提高边界向量预选的效果,从而加快支持向量机的训练过程。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 论文研究的背景及意义
• 1.2 支持向量机的研究现状
• 1.3 论文的主要内容及结构
• 第2章 统计学习与支持向量机理论
• 2.1 学习问题的一般表示
• 2.2 经验风险最小化
• 2.2.1 经验风险最小化准则
• 2.2.2 一致性条件
• 2.3 结构风险最小化原则
• 2.3.1 VC维
• 2.3.2 推广性的界
• 2.3.3 结构风险最小化原则
• 2.4 支持向量机理论
• 2.4.1 线性可分情况
• 2.4.2 线形不可分情况
• 2.4.3 非线性可分情况
• 2.5 本章小结
• 第3章 边界向量预选算法
• 3.1 边界向量预选方法
• 3.2 各种边界向量预选算法
• 3.2.1 基于类中心型的边界向量预选算法
• 3.2.2 基于NN型的边界向量预选算法
• 3.3 本章小结
• 第4章 边界向量预选改进算法
• 4.1 边界向量预选算法改进思路分析
• 4.2 基于类中心型的边界向量预选改进算法
• 4.3 基于 NN型的支持向量预选改进算法
• 4.3.1 密度聚类
• 4.3.2 线性可分情况下基于密度聚类的边界向量预选算法
• 4.3.3 非线性可分情况下基于密度的边界向量预选算法
• 4.4 本章小结
• 第5章 仿真实验与结果分析
• 5.1 实验结果与分析
• 5.1.1 基于类中心型的边界向量预选改进算法实验与结果分析
• 5.1.2 基于 NN型的边界向量预选改进算法实验与结果分析
• 5.2 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文和取得的科研成果
• 致谢