支持向量机及其在人脸识别中的应用研究

论文摘要

支持向量机是一种重要的机器学习算法，在模式识别领域有着广泛的应用。和传统的基于经验风险最小化准则的学习算法不同，支持向量机基于结构风险最小化准则工作，能在训练误差和分类器容量之间达到一个较好的平衡，因而具有更好的性能。自诞生之日起，支持向量机就迅速赢得了众多研究者的青睐，相关研究不断增加。但到日前为止，其至少有两个问题还未完全解决：参数选择和多类支持向量机的构建。前者研究的是如何选择具有良好泛化性能的分类器，后者研究的是如何使用支持向量机来处理多类问题。针对这两个问题，本文作了三方面研究：两类支持向量机的参数选择研究、多类支持向量机的参数选择研究以及多类支持向量机的结果构建研究，研究结果在多个国际通用的基准数据集上进行了验证。 人脸识别是模式识别的一个重要分支，其研究不仪有助于机器智能的实现，还能推进对人类视觉系统的理解。很多研究表明，使用支持向量机进行人脸识别能够获得很高的识别率。然而，一个尴尬的事实是，鲜有成熟的商业人脸识别系统是基于支持向量机的。为了探索基于支持向量机的人脸识别系统在现实中的可应用性，本文从应用的角度出发，较为全面地对一些相关问题进行探讨，并使用Visual C++实现了一个基于支持向量机的人脸识别软件—idTeller。 论文的主要工作和创新点包括： ·提出了两种基于VC边界的支持向量机参数选择算法—固定C算法和VC-CV算法。VC边界是两类支持向量机参数选择的一个理想准则，但它的一些固有缺点使其应用变得困难。本文通过将VC边界转化为VC指标，最终把问题归结为对最小包围体的求解，从理论上和计算上为VC边界的使用铺平了道路。在此基础之上，本文提出了两种基于VC边界的参数选择算法—固定C算法和VC-CV算法。在数个基准数据集上的实验表明，相比交叉验证算法，VC-CV算法不仅能获得性能更好的分类器，而且具有较低的计算复杂度。 ·使用序贯最小优化算法解决了最小包围体求解问题。最小包围体求解是计算VC指标的一个关键步骤，本文使用序贯最小优化算法对其求解，并对算法初始化、参数选择及更新等若干实现问题进行了深入地研究。在多个基准数据集上的实验表明，序贯最小优化算法能够快速而准确地解决最小包围体求解问题。 ·研究了多类支持向量机参数选择的策略问题。与文献中广泛采用的All-in-One策略不同，本文所采用的One-in-One策略为每个两类分类器单独选择参数，所得到

论文目录

• 第一章 绪论
• 1.1 模式识别
• 1.2 课题的研究意义和现状
• 1.3 木文工作概述
• 1.3.1 主要创新点
• 1.3.2 章节结构
• 第二章 支持向量机
• 2.1 理论背景
• 2.1.1 期单风险最小化准则
• 2.1.2 经验风险最小化准则
• 2.1.3 结构风险最小化准则
• 2.2 线性支持向量机
• 2.2.1 线性可分问题
• 2.2.2 Karush-Kuhn-Tucker条件
• 2.2.3 线性不可分问题
• 2.2.4 线性支持向量机举例
• 2.3 非线性支持向量机
• 2.3.1 Mercer定理
• 2.3.2 核函数举例
• 2.4 算法实现
• 2.4.1 组块法
• 2.4.2 分解法
• 2.4.3 序贯最小优化算法
• 2.5 几点讨论
• 2.5.1 结构风险最小化准则的实现
• 2.5.2 感知器算法
• 2.5.3 扩展支持向量机
• 2.6 小结
• 第三章 两类支持向量机参数选择
• 3.1 研究现状
• 3.1.1 交叉验证法
• 3.1.2 使用leave-one-out边界
• 3.2 使用VC边界进行参数选择
• 3.2.1 应用难点
• 3.2.2 解决思路
• 3.2.3 最小包围体求解
• 3.2.4 参数选择
• 3.3 小结
• 第四章 多类支持向量机参数选择
• 4.1 多类支持向量机构建
• 4.1.1 显式分解法
• 4.1.2 隐式分解法
• 4.1.3 其他方法
• 4.2 参数选择
• 4.2.1 研究现状
• 4.2.2 All-in-One策略
• 4.2.3 One-in-One策略
• 4.3 实验
• 4.4 小结
• 第五章 多类支持向量机结果构建
• 5.1 研究现状
• 5.1.1 DAGSVM
• 5.1.2 PWC方法
• 5.2 使用校正分类器的PWC算法
• 5.2.1 PWC-CC算法
• 5.2.2 NPWC-CC算法
• 5.3 PWC分类器阵列法
• 5.3.1 算法提出
• 5.3.2 算法描述
• 5.3.3 算法扩展
• 5.3.4 算法特性
• 5.4 两类支持向量机的概率输出
• 5.5 实验
• 5.6 小结
• 第六章 使用支持向量机进行人脸识别
• 6.1 人脸识别
• 6.1.1 难点及应用
• 6.1.2 人脸识别分类
• 6.1.3 2D静态人脸识别
• 6.1.4 基于支持向量机的人脸识别
• 6.2 木文实验所用人脸库
• 6.2.1 AT&T人脸库
• 6.2.2 组合人脸库
• 6.3 人脸特征向量构建
• 6.3.1 图像预处理
• 6.3.2 特征提取
• 6.4 自动参数选择
• 6.5 提高识别性能
• 6.6 提高识别速度
• 6.7 idTeller：一个基于支持向量机的人脸识别软件
• 6.7.1 输入／输出模块
• 6.7.2 图像预处理模块
• 6.7.3 特征提取模块
• 6.7.4 分类器模块
• 6.7.5 基准模块
• 6.8 小结
• 第七章 总结和展望
• 7.1 总结
• 7.2 展望
• 参考文献
• 致谢
• 作者攻读博士学位期间发表的论文