基于流形学习的数据降维

论文摘要

数据降维在机器学习和数据挖掘领域中有着广泛的应用,数据降维方法对数据进行预处理,大大降低了程序的时间和空间复杂度,所以数据降维方法的研究成为机器学习领域的一个热点。传统的数据降维方法只能解决具有线性结构的数据集,对于非线性数据集不适用。从而非线性降维方法的研究引起广大科研工作者的兴趣。本文研究基于流形学习的非线性数据降维方法。流形学习假设数据点分布于一个光滑的流形上,然后对想保留的性质进行刻画,最后通过谱方法获得高维数据的低维表示。本文首先对目前典型的流形学习方法与核函数理论进行较为全面的分析,并对LE (Laplace Eigenmaps)算法进行核化。此外,提出了一种PCA(Principal Component Analysis)和LLE(Local Linearly Embedding)混合数据降维方法,并在经典数据集和具有挑战性的数据集上取得了较好的降维效果。为了进一步说明此算法的有效性,本文将此算法应用于手写字分类和人脸分类算法的预处理过程中,得到了预期的效果。为了说明此算法的有效性,本文又进一步从理论上进行了分析。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 数据降维研究的意义
• 1.2 数据降维问题描述
• 1.3 数据降维方法概述
• 1.4 本文工作
• 1.5 本文结构
• 第二章 典型的数据降维方法
• 2.1 线性降维方法
• 2.1.1 主成分分析法
• 2.1.2 多维尺度法
• 2.2 非线性降维方法
• 2.2.1 流形学习中图构建方法
• 2.2.2 局部线性嵌入法
• 2.2.3 等距嵌入法
• 2.2.4 拉普拉斯特征映射法
• 2.3 本章小结
• 第三章 基于核理论的LE算法
• 3.1 引言
• 3.2 核化主成分分析法
• 3.3 核化局部线性嵌入法
• 3.4 核化拉普拉斯特征映射法
• 3.5 本章小结
• 第四章 一种PCA与LLE混合数据降维算法
• 4.1 引言
• 4.2 PLE方法介绍
• 4.3 PLE方法分析
• 4.4 实验
• 4.4.1 实验环境
• 4.4.2 经典数据集
• 4.4.3 更具挑战性的数据集
• 4.4.4 手写字数据集和人脸数据集
• 4.5 本章小结
• 第五章 总结与展望
• 5.1 本文工作总结
• 5.2 未来工作展望
• 5.2.1 流形学习方法的Banach空间推广
• 5.2.2 流形学习方法的多核理论推广
• 5.2.3 构造新核函数的流形学习理论
• 参考文献
• 致谢