数据降维算法研究及其应用

论文摘要

近年来,高维数据经常出现在科学界和产业界相关的领域,如计算机视觉、模式识别、生物信息以及航空航天等。当我们处理这些数据时,它们的高维属性往往会成为处理和应用这些数据的障碍,这表现在与之相关的计算复杂度较高并且结果并不是最优。降维是将数据由高维约减到低维的过程而用来揭示数据的本质低维结构。它作为克服“维数灾难”的途径在这些相关领域中扮演着重要的角色。在过去的几十年里,有大量的降维方法被不断地提出并被深入研究,其中常用的包括传统的降维算法如PCA和LDA;流形学习算法如LLE、ISOMAP、LE以及LTSA。但是,大多数现存的方法仍然受制于各种各样的问题,比如,小样本问题、out of sample problem问题、样本的非线性分布问题以及分类问题等等。为了解决这些问题,在本文中,作者提出了一系列的新算法、改进算法、新的降维框架以及在该框架的基础上开发的新算法。本文的主要贡献在于:1.本文提出了一个新的线性降维算法,线性局部切空间排列(LLTSA)。该算法运用切信息作为数据的局部表达,然后将这些局部信息在可以用线性映射得到的低维空间中排列。LLTSA可以看作是LTSA的线性逼近。2.受流形学习算法中的局部保存思想的启发,我们提出了一种新的降维算法,最大方差映射(MVP),用于人脸识别。该算法通过对流形上局部几何的捕捉来实现局部信息的表达和保存;除了流形学习的特性以外,基于对类别信息的利用,该算法还具备判别能力。3.本文提出了一种新的多模型生物特征识别系统。在该系统中,我们提出了一种专门应用于多模型问题的降维算法,几何保存映射(GPP)。GPP是一个判别的算法,同时它能够通过捕捉模型内部的几何结构来有效地保存几何信息。4.受LTSA算法的启发,本文提出了一种新的流形学习算法,局部坐标排列(LCA)。LCA通过保存片上的邻域关系从而得到局部坐标作为局部邻域的表达,然后将这些提取的局部坐标运用排列技术在全局中排列从而得到最终的嵌入坐标。另外,为了解决out of sample问题,我们将线性逼近方法应用于LCA,即线性LCA(LLCA)。5.本文提出一个能够统一各种基于谱分析的降维算法的框架,其命名为“片排列”。该框架的内容包括两个阶段:部分优化和整体排列。对于部分优化,每一个算法在构建的片上具有不同的优化目标,所构建的片是由某一个给定的点和一些相联系的点构成。对于整体排列,所有的片上部分优化通过运用排列技术被集成化到一起而构建最终的全局坐标。作为该框架的一个应用,我们通过在部分优化过程中施加判别信息,从而开发了一个新的降维算法,判别局部排列(DLA)。本文对统一框架下各种算法进行了讨论并验证了DLA算法。6.为了提高正交邻域保存映射(ONPP)的分类性能,在基于片排列框架下,本文提出了一种改进的降维算法,命名为判别正交邻域保存映射(DONPP)。另外,本文通过并入额外的无类标标号的样本点,将DONPP延伸到半监督的情况,也就是半监督判别正交邻域保存映射(SDONPP)。图像分类及人脸识别的实验分别验证了DONPP和SDONPP的有效性。

论文目录

• 摘要
• ABSTRACT
• 目录
• 第一章 引言
• 1.1 问题的提出
• 1.2 降维算法介绍
• 1.2.1 PCA
• 1.2.2 LDA
• 1.2.3 LLE
• 1.2.4 ISOMAP
• 1.2.5 LE
• 1.2.6 LTSA
• 1.2.7 HLLE
• 1.3 论文的主要贡献
• 1.4 论文涉及的数据库介绍
• 1.4.1 AR
• 1.4.2 ORL
• 1.4.3 PIE
• 1.4.4 YALE
• 1.4.5 FERET
• 1.4.6 UMIST
• 1.4.7 HKPU
• 1.4.8 USF
• 1.4.9 COIL-20
• 1.5 论文的组织结构
• 第二章 线性局部切空间排列及线性化的流形学习算法比较
• 2.1 引言
• 2.2 线性局部切空间排列（LLTSA）
• 2.2.1 线性化的流形学习
• 2.2.2 算法
• 2.3 实验
• 2.3.1 人工数据
• 2.3.2 人脸数据
• 2.3.3 讨论
• 2.4 本章小结
• 第三章 最大方差映射：用于人脸识别的判别算法
• 3.1 引言
• 3.2 算法
• 3.2.1 基本思想
• 3.2.2 目标函数
• 3.2.3 实现
• 3.2.4 小样本问题
• 3.3 实验
• 3.3.1 ORL
• 3.3.2 YALE
• 3.3.3 AR
• 3.3.4 讨论
• 3.4 本章小结
• 第四章 几何保存映射：用于多模型生物特征识别的算法
• 4.1 引言
• 4.2 几何保存映射（GPP）
• 4.2.1 多模型生物特征识别系统
• 4.2.2 算法描述
• 4.3 核几何保存映射（KGPP）
• 4.4 子空间分类
• 4.5 实验
• 4.5.1 YALE-HKPU-USF
• 4.5.2 FERET-HKPU-USF
• 4.5.3 模型缺失的情况
• 4.5.4 讨论
• 4.6 结论
• 第五章 局部坐标排列：一种新的流形学习算法
• 5.1 引言
• 5.2 局部坐标排列
• 5.2.1 局部表达
• 5.2.2 全局排列
• 5.3 线性局部坐标排列
• 5.3.1 线性算法
• 5.3.2 局部片上的核表达
• 5.3.3 在监督模式下的LLCA
• 5.3.4 PCA预处理
• 5.4 与Laplacian Eigenmaps（LE）的联系
• 5.4.1 LE算法的回顾
• 5.4.2 LE算法的新阐述
• 5.4.3 讨论
• 5.5 实验
• 5.5.1 LCA用于非线性降维
• 5.5.2 LLCA用于人脸识别
• 5.6 结论
• 第六章 片排列：基于谱分析的降维框架
• 6.1 引言
• 6.2 片排列：作为一个框架
• 6.2.1 部分优化
• 6.2.2 整体排列
• 6.3 统一不同的降维算法
• 6.3.1 LLE/NPE/ONPP
• 6.3.2 ISOMAP
• 6.3.3 LE/LPP
• 6.3.4 LTSA/LLTSA
• 6.3.5 HLLE
• 6.3.6 PCA
• 6.3.7 LDA
• 6.3.8 讨论
• 6.4 判别局部排列：一种新的算法
• 6.4.1 部分优化
• 6.4.2 整体排列
• 6.5 实验
• 6.5.1 YALE
• 6.5.2 UMIST
• 6.5.3 FERET
• 6.5.4 构建片
• 6.5.5 讨论
• 6.6 本章小结
• 第七章 判别正交邻域保存映射：一种用于分类的改进算法
• 7.1 引言
• 7.2 判别正交邻域保存映射（DONPP）
• 7.2.1 部分优化
• 7.2.2 整体排列
• 7.3 半监督判别正交邻域保存映射（SDONPP）
• 7.4 实验
• 7.4.1 关于DONPP的实验
• 7.4.2 关于SDONPP的实验
• 7.4.3 讨论
• 7.5 本章小结
• 第八章 结束语
• 8.1 总结
• 8.2 展望
• 参考文献
• 致谢
• 博士期间撰写的学术论文
• 博士期间申请的发明专利
• 学术服务