支持向量机多类分类算法的分析与设计

论文摘要

支持向量机是上世纪九十年代提出的一种基于小样本的新的统计学习方法。支持向量机是机器学习领域若干标准技术的集成者,它集成了最大超平面、Mercer核、凸二次规划、稀疏解和松弛变量等多项技术,在若干挑战性的应用中,获得了较好的性能。由于其具有全局最优、结构简单、推广能力强等优点,近几年得到了广泛的研究并广泛应用于模式识别等领域。但是支持向量机最初是针对两类分类提出来的,如何将两类分类方法扩展到多类别分类是支持向量机研究的重点内容之一。本文从支持向量机的基本理论出发,针对分类问题着重讨论了以下几个方面的内容:（1）支持向量机二分类算法的研究,对目前存在的多种支持向量机模型进行了研究分析,比较了他们的性能与应用的范围。（2）支持向量机多类分类算法的研究,首先总结了目前存在的基于支持向量机的多类分类方法,包括“一对多”方法、“一对一”方法、一次性求解的方法、决策有向无环图方法、基于二叉树的支持向量机多类分类方法和其它几种方法,比较了他们的优缺点以及性能。同时本章中针对多类分类方法中的1-a-r（one- against-rest）方法存在由于训练样本之间的不均衡将对精度产生影响,不可识别区域等不足,提出了利用边界近邻最小二乘支持向量机来解决多类分类问题。有效地解决了上述问题,实验结果表明该方法的有效性。（3）基于原型超平面支持向量机的研究。介绍了原型超平面支持向量机的产生,并针对其分类规则在某些情形会导致较差的分类结果,提出了在利用基于广义特征的最接近支持向量机（GEPSVM）产生一个主原型超平面的基础上,再利用主原型超平面及它类样本的信息构造一个次原型超平面,形成一个由主次原型超平面共同决策的最接近支持向量机。该方法不仅简单且易于实现,还具有较GEPSVM更优的分类性能。在UCI数据集上实验验证了它的有效性。（4）将基于主次原型超平面最接近支持向量机分类器与主分量分析结合,应用于人脸识别过程,并与传统的最近邻分类器比较,实验证明了其效果优于传统的最近邻分类规则。

论文目录

• 中文摘要
• Abstract
• 第一章 绪论
• 1.1 机器学习问题
• 1.2 统计学习理论
• 1.2.1 学习过程一致性的条件
• 1.2.2 VC 维
• 1.2.3 推广误差边界
• 1.2.4 结构风险最小化归纳原则
• 1.3 支持向量机理论发展与现状
• 1.4 支持向量机的应用研究
• 1.5 论文选题意义及创新点
• 1.6 本论文的主要工作与全文结构
• 第二章 基于支持向量机的二值分类
• 2.1 引言
• 2.2 支持向量机的基本方法
• 2.2.1 线性支持向量机
• 2.2.2 非线性支持向量机
• 2.3 支持向量机改进算法
• 2.3.1 C-SVM 算法
• 2.3.2 BSVM 算法
• 2.3.3 v-SVM 算法
• 2.3.4 FSVM 算法
• 2.3.5 LSSVM 算法
• 2.4 支持向量机改进算法的比较
• 2.5 本章小结
• 第三章 支持向量机多类分类算法
• 3.1 引言
• 3.2 基于支持向量机的多类分类器的构造与比较
• 3.2.1 解决n-类问题的直接方法
• 3.2.2 通过组合多个二值分类器来构造多类分类器
• 3.2.3 支持向量机多类分类算法比较
• 3.3 基于边界近邻最小二乘支持向量机的改进算法
• 3.3.1 最小二乘支持向量机
• 3.3.2 边界近邻最小二乘支持向量机
• 3.3.3 基于边界近邻最小二乘支持向量机的多类分类问题解决
• 3.4 实验比较
• 3.5 本章小结
• 第四章 基于原型超平面的多类最接近支持向量机
• 4.1 基于原型超平面的多类最接近支持向量机的基本理论
• 4.1.1 基于广义特征的最接近支持向量机（GEPSVM）
• 4.1.2 基于原型超平面的多类最接近支持向量机（MHPSVM）
• 4.1.3 特征空间中的原型超平面多类最接近支持向量机
• 4.2 基于原型超平面最接近支持向量机存在的问题及改进算法
• 4.2.1 基于主次原型超平面最接近支持向量机
• 4.2.2 基于新的判别准则的原型超平面多类最近接支持向量机
• 4.2.3 实验
• 4.3 基于主次原型超平面最接近支持向量机在人脸识别中的应用
• 4.3.1 主分量分析
• 4.3.2 人脸识别步骤
• 4.3.3 最近邻算法
• 4.3.4 实验比较
• 4.4 本章小结
• 第五章 总结与展望
• 5.1 全文总结
• 5.2 研究展望
• 参考文献
• 致谢
• 作者攻读硕士期间发表的文章