基于分片逆回归的维数缩减

论文摘要

高维数据维数缩减问题一直以来倍受关注,给数据分析和应用带来极大的便利,特别是现代高新技术的迅猛发展,生物技术的突匕猛进,产生了许多维数很高的数据。为了能够高效的使用这些数据进行相关的分析,首先就要对这些高维数据进行降低维数的处理,这个过程要达到两个目的：一是使得原始数据的维数降低,以便于进行分析,一是降维之后的数据尽可能的保持原有数据的性质,能够尽可能反映原有数据的信息。本文介绍了维数缩减方法相关背景知识,特别是讨论了分片逆回归的算法,并且针对一些具体的维数缩减方法做了进一步的拓展,提出了分片逆回归正则化方法,核方法以及局部化的方法。传统的分片逆回归问题解决线性和监督学习问题,核分片逆回归方法通过核函数的运用将分片逆回归算法推广至非线性的情形。局部化方法将分片逆回归方法应用至半监督学习的情形,从而拓展了分片逆回归方法的使用范围。论文结构如下：第1章介绍分片逆回归方法的背景知识和算法。第2章给出了分片逆回归方法的正则化与核方法。正则化方法是Tikhonov在1963年提出来的,本文的正则化分片逆回归方法考虑的是最小二乘平方损失的情形,并且得到维数缩减方向一致性的界。核方法经常被使用的核是高斯核。第3章主要讨论所提出的局部分片逆回归算法。在很多实际问题中,样本是没有标记的,对这类问题怎样实施分片逆回归方法,提出了局部分片逆回归方法,从而拓展了分片逆回归方法的适用范围。第4章的主要目的是通过实验对某个特定的样本集来说明核分片逆回归算法的有效性。第5章是对本文工作的总结和展望。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 分片逆回归问题的提出及研究现状
• 1.2 相关的降维方法
• 第2章 分片逆回归的改进
• 2.1 正则化分片逆回归
• 2.2 核分片逆回归
• 第3章 分片逆回归方法的局部化
• 3.1 局部分片逆回归算法
• 第4章 实验结果
• 4.1 手写数字的识别
• 第5章 结果及展望
• 参考文献
• 致谢