基于局部线性分析的降维算法研究

论文摘要

随着信息、多媒体及数字化技术的迅猛发展,高维数据时代随之到来,并已成为描述客观世界的一个有力工具,如基因的表达、视频追踪、医学图像处理、高维时间序列分析等,与此同时,传统的分类、聚类等算法已经无法应用于高维数据的处理中,因此迫切需要寻求一种数据降维方法,而流形学习的出现为高维数据降维提供了一个很好的途径。流形学习在十余年的发展历程中,在国内外众多学者的努力下,已经开始趋于成熟,并涌现出了许多值得借鉴的方法。例如:等距映射、局部线性嵌(LLE)入以及局部切空间排列(LTSA)算法等。LLE及LTSA都基于局部近似可线性化的假设而提出的非线性降维方法,在真实世界的高维数据中可以得到较好的效果。但在很多时候,局部的数据往往存在高曲率分布及噪音,而局部的方法对上述情况非常敏感,此时LLE及LTSA就无法获得正确的低维嵌入,如何解决此类问题成为流形学习研究的一个重要分支。本文主要针对以上流形学习中的重要问题提出相应的解决方法:(1)分析局部切空间的几何性质,在此基础上提出一种自适应的邻域选取方法,并将LTSA算法加以改进。(2)分析噪音及高曲率对低维空间的影响,并将噪音进行分类,提出一种抗噪能力较强的角度全局嵌入算法。(3)以LLE算法为例,对局部可线性化问题展开讨论,给出一种近似的可线性化标准,同时在源数据是稀疏分布的情况下,给出一种基于稀疏嵌入分析的降维方法。最后,实验证实了文中所提出方法的有效性。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究背景及问题的提出
• 1.2 流形学习的国内外研究现状
• 1.3 流形及流形学习
• 1.3.1 流形的概念及其相关的数学定义
• 1.3.2 流形学习的出现
• 1.4 流形学习的主要参数及确定
• 1.5 本文的主要研究内容
• 1.6 本文的组织结构
• 2 一种自适应的邻域选取算法及改进的LTSA
• 2.1 引言
• 2.2 数据的正交投影
• 2.2.1 正交投影的角度
• 2.2.2 曲率的计算
• 2.3 自适应邻域的选取新方法
• 2.4 基于偏离度的自适应邻域选取的局部切空间排列算法（DALTSA）
• 2.5 实验结果
• 2.6 小结
• 3 一种全局的角度优化嵌入算法
• 3.1 引言
• 3.2 协方差阵的更新
• 3.3 子空间分析
• 3.4 AOGE 算法
• 3.5 实验结果与分析
• 3.5.1 不规则M 数据实验
• 3.5.2 Frey face 表情分类
• 3.5.3 手写体识别
• 3.5.4 AR 人脸识别
• 3.5.5 手工流形数据
• 3.5.6 实验结果分析
• 3.6 小结
• 4 一种基于稀疏嵌入分析的降维方法
• 4.1 引言
• 4.2 LLE 算法的介绍
• 4.3 可线性化分析
• 4.4 一种排列的稀疏LLE 算法
• 4.5 实验结果分析
• 4.5.1 手工流形实验
• 4.5.2 Frey 表情2D 可视化
• 4.6 小结
• 5 结论
• 5.1 总结
• 5.2 展望
• 参考文献
• 附录A1 引理3.1 证明
• 附录A2 定理3.1 证明
• 攻读硕士学位期间发表学术论文情况
• 致谢