回归中降维模型的估计与检验

论文摘要

大规模数据降维技术是统计中一个非常重要的问题，而充分降维是这个领域中一个非常重要的工具。充分降维的思想是：在不假定任何参数模型以及不损失条件分布F（Y|X）中所含有的信息的前提下，通过数据中高维的自变量的一些线性组合来达到降维的目的。在我的论文中，主要考察回归中的充分降维问题。 在论文的第一部分，我们将考察数据集的充分降维的可能性的问题，即检验如下模型是否充分拟合数据 H0：Y（?）X|BTX．这里，Y是一维的响应变量，X是p×1的自变量，B是一个p×K的矩阵，记号“（?）”表示独立。我们采用Score检验的思想，采用残差的加权和的形式构造一个Score type检验统计量。我们使用的“残差”实际上是Y的密度函数与X的某些特定投影的密度函数的差异。我们采用核函数来估计这一些密度函数，因此，构造的Score type检验统计量是不依赖随机变量的分布的。另外，在对立假设已知的情况下，权函数的引入能保证Score检验的最优性。受Score检验统计量的构造的启发，在对立假设存在多种可能的情况下，我们构造了Maxmin检验。这两个检验都能检查对立假设以n1/2的速度趋向原假设的情形。关于这个检验另一个重要的应用便是决定模型的结构维数K，即我们至少需要多少个投影方向就能提取条件分布的全部信息的问题。 在如上的条件模型成立的条件下，文献上有大量的充分降维的办法用于估计B。在所有这些方法中，基于X对于Y的逆回归方法，而不是通常的Y对X的回归，比如说切片逆回归（SIR，Li 1991）以及切片平均方差估计（SAVE，Cook and Weisberg 1991），是非常有效的两个方法。为了估计切片逆回归的核矩阵，Li（1991）提出了用切片估计的思想。这个方法非常简单并且效果很好。当切片数n1/2到n／2这个范围以内变化的时候，Zhu and Ng（1995）证明了切片估计的渐近正态性以n1/2的速度成立。遗憾的是，Liand Zhu（2004）在用切片的想法来估计切片平均方差的核矩阵时，得到了完全不一样的渐近性质。因而，在本文的第二部分，我们将用核估计来估计切片平均方差的核矩阵，并指出了核估计和切片估计的不同之处。为得到n1/2的渐近正态性，在使用核函数的时候，我们需要undersmoothing，即选用一个比较小的窗宽。为此，我们提出了一个data-driven的办法来选择窗宽。另外，借用BIC的思想，我们提出了一个修改的准则来决定模型的结构维数。这个准则使用起来非常简单，并且只需要核矩阵的特征值收敛就可以保证估计的结构维数是收敛到真实的结构维数了。 由于条件方差对于模型的建立以及数据的波动的描述都是非常重要的，因而，在论文的最后部分，我们提出了用中心方差空间（CVS）的想法来提取回归中条件方差的

论文目录

• 摘要
• ABSTRACT（英文摘要）
• 主要符号对照表
• 第一章 引言
• 1.1 高维数据
• 1.2 中心降维子空间
• 1.3 均值中心降维子空间
• 1.4 结构维数的估计
• 1.5 本论文的的框架
• 第二章 降维模型的条件独立性检验
• 2.1 引言
• 2.2 检验统计量的构造以及渐近性质
• 2.3 模拟
• 2.4 降维应用：WheatProteinData
• 2.5 附录
• 第三章 切片平均方差的核估计
• 3.1 引言
• 3.2 SAVE矩阵核估计的渐近性质
• 3.3 CDR子空间结构维数的确定
• 3.4 模拟与实际数据例子
• 3.5 附录
• 第四章 回归中条件方差的自适应性降维
• 4.1 引言
• 4.2 中心方差子空间
• 4.3 中心均值子空间中的向量
• 4.4 结构维数的确定
• 4.5 中心方差子空间的向量
• 4.6 渐近性质
• 4.7 例子
• 4.8 讨论
• 4.9 附录
• 结论以及未来的工作
• 参考文献
• Acknowledgement
• 博士期间发表的文章