流形学习算法在人脸识别中的应用研究

论文摘要

人脸是人类视觉中最常见的模式,人脸识别由于其自然、直观、非接触、安全、快捷等特点而倍受关注,已经成为最具发展潜力的生物特征识别技术之一,也是当前模式识别和人工智能领域的一个研究热点。但是,由于人脸结构的复杂性、人脸表情的多样性以及人脸成像过程的多变性等原因,人脸机器自动识别至今仍然被公认是一个具有挑战性的研究领域。一般认为,人脸从某种意义上来说是一种流形结构,人脸数据集是由某些内在变量控制形成的非线性流形,只要能从流形中寻找出光照、表情和姿态等控制变量,就能大幅降低观测空间的维数。流形学习是近年来机器学习及模式识别等领域的一个研究热点,其主要目标是去发现高维观察数据空间的低维光滑流形。自从2000年Roweis和Saul提出LLE算法、Tenenbaum等人提出Isomap算法,特别是Donoho等人发现Isomap算法能够准确发现人脸图像流形潜在的参数空间、张长水等人将LLE算法用于人脸识别并取得了较好的识别效果之后,基于流形学习的人脸识别研究引起了人们的广泛关注。本文对流形学习算法在人脸识别中的应用问题进行研究,提出了3种新的基于流形学习的人脸识别算法,通过仿真实验验证了它们的有效性。主要工作和创新成果集中在以下几个方面:1.简要介绍了流形学习研究中涉及的相关数学知识,如拓扑流形、微分流形、黎曼流形、测地线、Hausdorff距离等,为本文的研究提供理论支持。2.分析讨论了流形学习在人脸识别应用中的一些关键问题。1)介绍了流形学习的研究动机、技术路线,主流流形学习算法的优势及存在不足。2)分析了人脸识别主要技术的优势及存在困难,指出了流形学习应用于人脸识别的可能性及可行性。3)针对人脸图像数据高维、非结构化的特点,分析讨论了高维空间的维数约简、维数灾难、数据稀疏性、空空间现象、胖尾现象等问题,从数学模型的角度讨论了流形学习与维数约简、本征维数估计、监督学习、半监督学习、监督流形学习及半监督流形学习等问题,揭示了它们的区别与联系。3.构建模型、搭建实验平台,将主流流形学习算法应用于人脸识别。进行仿真实验,系统分析其应用的可能性,优势及存在的问题。1)线性流形学习算法人脸识别仿真实验:主成分分析(PCA)、线性判别分析算法(LDA)、局部保距投影(LPP)等。2)非线性流形学习算法人脸识别仿真实验:等距映射(Isomap),局部线性嵌入算法(LLE)、Laplacian特征映射(LE)、局部切空间排列(LTSA)等。4.针对流形学习算法未能充分利用样本的类别信息,一般不适合用于分类,不能有效的消除图像中冗余信息;Isomap算法需要较多的训练样本来描述非线性流形结构,而人脸识别本身是一个小样本问题,通常训练样本不是很多,进而影响了识别效果。提出了一种新的人脸识别算法并在公开人脸数据库中验证了算法的有效性。5.LTSA算法是著名的流形学习算法之一。但如果在模式识别时遇到相似的流形,两种流形相似的模型放在一起就构成了复杂流形,这时就很难用LTSA算法加以分类。针对这个问题,本文提出了一种新的人脸识别算法并在公开人脸数据库中验证了算法的有效性。6.针对监督学习和非监督学习在利用样本信息方面存在的不足,提出了一种基于半监督流形学习的人脸表情识别方法,在部分有标签信息的人脸表情数据的情况下,通过利用人脸表情图像数据本身的非线性流形结构信息和部分标签信息来调整点与点之间的距离形成距离矩阵,而后基于被调整的距离矩阵进行线性近邻重建来实现维数约减,提取低维鉴别特征用于人脸表情识别。仿真实验验证了算法的有效性。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 课题的背景及意义
• 1.2 流形学习的数学基础
• 1.2.1 流形
• 1.2.2 测地线
• 1.2.3 Hausdorff 距离
• 1.3 流形学习的研究背景及动机
• 1.3.1 流形学习问题的研究背景
• 1.3.2 流形学习的研究动机
• 1.4 生物特征识别技术简介
• 1.4.1 常用的生物特征识别技术介绍
• 1.4.2 评价生物特征识别系统的主要性能指标
• 1.5 人脸识别的基本原理
• 1.6 论文组织结构及创新点
• 2 基于流形学习的人脸识别问题探讨
• 2.1 流形学习问题
• 2.1.1 问题的数学描述
• 2.1.2 主要方法及存在问题
• 2.2 人脸识别问题
• 2.2.1 人脸识别的主要方法
• 2.2.2 关键问题及发展趋势
• 2.3 维数约简问题
• 2.3.1 问题的提出
• 2.3.2 问题的数学描述
• 2.3.3 高维数据空间的特殊性
• 2.4 流形学习与维数约简
• 2.4.1 问题的数学描述
• 2.4.2 算法的构建及实现
• 2.4.3 LLE 算法实例分析
• 2.5 本征维数估计问题
• 2.5.1 概念的认识
• 2.5.2 本征维数估计方法
• 2.6 学习问题
• 2.6.1 机器学习问题的数学描述
• 2.6.2 监督学习问题
• 2.6.3 非监督学习问题
• 2.6.4 半监督学习问题
• 3 线性流形学习算法比较研究
• 3.1 主成分分析（PCA）
• 3.1.1 主成分析的基本原理
• 3.1.2 算法流程
• 3.2 线性判别分析算法（LDA）
• 3.2.1 LDA 算法的基本原理
• 3.2.2 算法流程
• 3.3 局部保距投影（LPP）
• 3.3.1 LPP 算法的基本原理
• 3.3.2 LPP 算法流程
• 3.4 算法仿真实验及分析评价
• 3.4.1 人脸数据库简介
• 3.4.2 参数设置及评价指标
• 3.4.3 ORL 数据库上的实验结果
• 3.4.4 Yale 数据库上的试验结果
• 3.4.5 CMU PIE 数据库上的试验结果
• 3.4.6 实验结果分析
• 4 非线性流形学习算法比较研究
• 4.1 等距映射（Isomap）
• 4.1.1 基本思路及设计背景
• 4.1.2 算法流程
• 4.1.3 算法分析
• 4.2 局部线性嵌入算法（LLE）
• 4.2.1 基本思路及设计背景
• 4.2.2 算法流程
• 4.2.3 算法分析
• 4.3 Laplacian 特征映射（LE）
• 4.3.1 基本思路及设计背景
• 4.3.2 算法流程
• 4.3.3 算法分析
• 4.4 局部切空间排列（LTSA）
• 4.4.1 基本思路及设计背景
• 4.4.2 算法流程
• 4.4.3 算法分析
• 4.5 算法仿真实验及分析评价
• 4.5.1 合成数据
• 4.5.2 人脸数据
• 4.5.3 讨论
• 4.6 小结
• 5 监督流形学习算法在人脸识别中的应用研究
• 5.1 基于Gabor 小波和监督等距映射的人脸识别方法
• 5.1.1 Gabor 小波图像特征提取
• 5.1.2 S-ISOMAP 算法特征降维
• 5.1.3 实验结果及分析
• 5.1.4 结论
• 5.2 一种新的有监督局部切空间排列算法
• 5.2.1 算法介绍
• 5.2.2 LTSA+LDA 算法
• 5.2.3 实验结果及分析
• 5.2.4 结论
• 6 流形学习扩展算法在人脸识别中的应用研究
• 6.1 自组织LLE 算法在人脸识别中的应用研究
• 6.1.1 自组织LLE 算法（SO-LLE）
• 6.1.2 自组织线性嵌入算法性能分析
• 6.1.3 实验结果及分析
• 6.1.4 结论
• 6.2 基于半监督流形学习的人脸识别算法研究
• 6.2.1 监督局部线性嵌入（Supervised –LLE，SLLE）
• 6.2.2 半监督局部线性嵌入（Semi-supervised LLE ,SS-LLE）
• 6.2.3 实验结果及分析
• 6.2.4 结论
• 7 总结与展望
• 7.1 全文工作总结
• 7.2 论文存在不足及后续研究展望
• 致谢
• 参考文献
• 附录：攻读博士学位期间的科研成果及发表的学术论文