高维多重共线性数据的变量选择问题

论文摘要

变量降维问题一直在统计研究学习以及实际应用领域起到至关重要的作用,对于存在多重共线性问题的数据,一般的最小二乘方法基本失效。本文介绍了一般的共线性变量选择方法包括惩罚的似然方法,如岭估计,桥估计和一些降维方法,如主成分回归,偏最小二乘回归以及高维数据降维方法Elastic Net方法。本文从新的角度来解释岭回归的惩罚作用,借助于这个方法我们为Elastic Net方法l2惩罚部分增加了权重,本文也提供了两种选择权重的方法,在保证了变量选择的有效性下,通过对实际数据以及模型的模拟验证了其有效地减小了预测误差。

论文目录

• 摘要
• Abstract
• 1 引言
• 1.1 变量选择方法的历史回顾
• 1.2 高维变量选择方法的回顾
• 1.3 多重共线性问题以及危害
• 1.4 文章的结构
• 2 一般共线性的变量选择方法
• 2.1 岭估计
• 2.1.1 岭估计的引入
• 2.1.2 岭估计的新角度解释
• 2.1.3 岭估计与贝叶斯方法的联系
• 2.1.4 岭估计变量选择的方法
• 2.2 主成分回归与偏最小二乘方法
• 2.2.1 主成分回归的提出与计算
• 2.2.2 偏最小二乘方法
• 2.3 Bridge Estimator
• 2.3.1 Bridge Estimator的提出
• 2.3.2 参数选择方法
• 2.3.3 Bridge Estimator与贝叶斯方法的联系
• 3 高维共线性数据参数估计以及变量选择方法
• 3.1 Elastic Net定义与解
• 3.2 与lasso的等价性
• 3.3 组效应
• 3.4 处理共线性问题
• 3.5 与贝叶斯方法的联系
• 3.6 适应性的elastic net方法及其大样本性质
• 4 实证分析与数值模拟
• 4.1 实证分析-前列腺癌样本
• 4.2 数值模拟
• 参考文献
• 致谢
• 学位论文评阅及答辩情况表