基于局部几何关系的降维方法研究及其在人脸识别中的应用

论文摘要

随着科学技术的发展,人们(计算机)处理数据的能力越来越强,同时,需要处理的数据的维数也越来越高,数量也越来越惊人。在很多情况下,如人脸识别、基因序列分析等等,往往首先需要对数据进行降维,这样做一方面可以避免“维数灾难”,减少算法的运算量和存储量,另一方面也有助于挖掘数据分布的内在结构。近年来,受流形学习算法的启发,在人脸识别领域当中,掀起了一股新的基于局部加权的降维方法研究热潮。这类方法依据的主要原理大都是从数据分布的局部几何关系出发,来指导整个降维过程。这类方法尽管已经取得了一定的成功,却依然存在一些悬而未决的问题。具体来讲,在线性降维时对基向量加上什么样的约束才最好?如何自动有效地确定局部加权的权值?此外,传统的降维方法往往容易被某些特定的样本对“主导”,而静态的局部加权并不能够从根本上解决这个问题,如何彻底解决?针对以上几个问题,本文在以下几个方面进行了创新性的探索:1.提出了伪逆扩展方法,将流形算法扩展到了测试集上。通过选择合适的正定核函数,该方法总能够保证在训练集上的结果与原始的流形算法结果一样。2.在最近提出的非参数线性降维方法MFA的可分性准则基础上,我们对基向量加上了正交和不相关的约束条件,并从理论上和实验上同时证明了OMFA与UMFA总是优于原始的MFA。3.传统的LDA算法在降维时,结果往往容易被原本就相距较远的样本主导。我们详细讨论了造成这个现象的原因,并提出了新的基于动态最近中心互斥(DNCR)的降维方法来克服这个缺点。最终的算法利用了Grassmann流形上优化的特点,更加有效。4.通过适当的Relaxation,我们将DNCR中的非凸问题转化为凸问题,从而完全避免了局部最小。我们将该方法应用到距离学习中,并且其对偶问题正好可以用来解决MFA中权值的选取问题。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 降维的研究意义
• 1.2 降维的分类
• 1.2.1 无监督、有监督和半监督降维
• 1.2.1.1 无监督方式降维
• 1.2.1.2 有监督方式降维
• 1.2.1.3 半监督方式降维
• 1.2.2 参数化和非参数化降维
• 1.2.2.1 参数化方法降维
• 1.2.2.2 非参数化方法降维
• 1.2.3 线性和非线性降维
• 1.2.3.1 线性降维
• 1.2.3.2 非线性降维
• 1.3 流形算法的研究现状
• 1.3.1 ISOmetric MAPping（ISOMAP）
• 1.3.2 Locally Linear Embedding（LLE）
• 1.3.3 Laplacian Eigenmaps（LE）
• 1.3.4 其他
• 1.4 流形算法存在的问题和应用前景
• 1.4.1 存在的问题
• 1.4.2 应用前景
• 1.5 本人工作和创新点
• 1.6 论文内容安排
• 第2章 流形算法的扩展性研究
• 2.1 LE的扩展问题
• 2.2 Locality Preserving Projection
• 2.3 伪逆扩展方法
• 2.4 实验结果
• 2.4.1 可视化实验
• 2.4.2 人脸识别
• 2.4.3 数字识别
• 2.5 本章小结
• 第3章 正交MFA和不相关MFA
• 3.1 MFA的主要原理
• 3.2 正交MFA和不相关MFA
• 3.3 实验结果及讨论
• 3.4 本章小结
• 第4章 动态最近中心互斥及其扩展
• 4.1 LDA方法的局限性
• 4.2 动态最近中心互斥原理
• 4.3 Grassmann流形上优化DNCR
• 4.4 非参数化扩展
• 4.4.1 核化扩展
• 4.4.2 最近邻规则扩展
• 4.5 实验结果及讨论
• 4.5.1 人工合成例子
• 4.5.2 人脸识别
• 4.6 本章小结
• 第5章 基于木桶理论的距离学习算法
• 5.1 前人的工作
• 5.2 凸优化的基本概念
• 5.3 参数化假设下的距离学习框架
• 5.3.1 统一框架
• 5.3.2 Parametric Cask Machine
• 1-Norm PCM'>5.3.3 L₁-Norm PCM
• 2-Norm PCM'>5.3.4 L₂-Norm PCM
• 5.4 非参数情况下的扩展
• 5.4.1 最小的类间距离
• 5.4.2 最大的类内距离
• 5.4.3 Nonparametric Cask Machie
• 5.4.4 凸近似
• 5.5 实验结果及讨论
• 5.6 本章小结
• 第6章 总结与展望
• 6.1 总结
• 6.2 该研究领域的展望
• 附录A 凸优化简介
• A.1 凸集
• A.2 凸函数
• A.3 凸优化
• A.4 拉格朗日对偶问题
• 参考文献
• 个人简历、在学期间完成的学术论文
• 致谢