基于流形学习的数据降维技术研究

论文摘要

自然界中的数据大都以高维非结构化的形式存在,信息化技术的高速发展使得获取这些数据成为了可能。高维数据不仅难以被人们直观理解,也难以被现有机器学习和数据挖掘算法有效处理。降维操作已经成为处理这些数据的一个重要手段,经过几十年的发展,降维技术已经取得了长足的进步,出现了如PCA、LDA等一系列经典方法,但在当下的线性与非线性降维领域仍然存在许多具有挑战性的问题。21世纪的头十年里,以ISOMAP、LLE为代表的流形降维方法突发猛进,成为了当下最为热门方向之一。论文从广义流形学习定义出发,围绕线性流形与非线性流形降维算法展开,从全局线性流形降维、全局非线性流形降维、局部非线性流形降维对流形学习算法进行了一些研究,主要工作有:针对线性判别分析在实际识别任务中计算消耗大、内存需求多,易出现“小样本问题”的缺点,将传统线性判别分析的方法放到图嵌入的框架下进行分析,结合正则化技术,设计了一种图嵌入正则化的线性判别分析方法。首先构造了非监督最优类可分准则,通过图嵌入理论得出一种求解该判别准则下最优投影向量的方法,最后将求解传统LDA中投影向量的复杂特征值分解过程转化成为一个简单的特征值分解和一个正则化拟合问题。针对局部线性嵌入算法对近邻点个数的选择依赖性较强,不适应处理稀疏数据源的缺点,提出了一种基于几何距离摄动的局部线性嵌入算法。从几何直观的角度,提出了一种根据几何摄动值来判定流形结构上的两个点是否处于同一线性平面的方法,根据这一方法,提出了一种基于几何摄动的分块算法,将原始流形数据划分为一组最大线性分块的组合;在进行局部嵌入的过程中通过线性块内的点来确定局部线性嵌入算法中近邻点的选择范围,从而保证局部线性嵌入算法局部线性特性这一假设条件得到满足。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 研究意义和应用情况
• 1.3 本文的实验平台及实验用数据简介
• 1.4 论文的组织架构
• 第二章 流形学习降维算法介绍
• 2.1 流形学习的数学含义
• 2.2 流形学习方法的分类
• 2.3 线性流形降维典型方法
• 2.3.1 PCA
• 2.3.2 经典多维尺度分析
• 2.3.3 Fisher 线性判别分析
• 2.4 非线性流形降维方法
• 2.4.1 核主成分分析
• 2.4.2 等距映射算法
• 2.4.3 局部线性嵌入算法
• 2.4.4 Laplacian 特征映射算法
• 2.4.5 Hessian 特征映射
• 2.5 局部切空间排列
• 2.6 流形学习算法小结
• 第三章 一种图嵌入正则化的线性判别分析方法
• 3.1 引言
• 3.2 正则化线性判别分析 RLDA
• 3.3 图嵌入正则化判别分析
• 3.3.1 谱图理论
• 3.3.2 图嵌入线性判别分析
• 3.3.3 正则化最小二乘拟合
• 3.3.4 图嵌入正则化人脸判别分析
• 3.3.5 算法计算复杂度分析
• 3.4 实验
• 3.5 本章小结
• 第四章 基于几何距离摄动的局部线性嵌入算法
• 4.1 局部线性嵌入LLE
• 4.2 基于几何摄动的 LLE 算法
• 4.2.1 非线性度与几何距离摄动
• 4.2.2 基于几何摄动的最大线性块
• 4.2.3 最大线性分块算法
• 4.2.4 最大线性分块下的局部嵌入算法
• 4.3 实验
• 4.3.1 人造数据集上降维实验
• 4.3.2 UCI 数据上分类实验
• 4.4 本章小结
• 第五章 总结与展望
• 参考文献
• 致谢
• 附录（攻读硕士学位期间发表录用论文）
• 中英文摘要