拉斯噪声和均匀噪声下SVR的鲁棒性研究

论文摘要

支持向量机SVM是实现统计学习理论的通用学习方法,其优异的泛化性能使得支持向量机在模式识别、回归分析和预测、密度估计等领域都得到了实际应用。当SVM用于回归分析和预测时,通常称其为支持向量回归机SVR。在回归分析中,样本数据通常含有噪声。如何选择合适的参数使得支持向量回归机SVR更具鲁棒性,从而对样本数据噪声产生尽可能强的抑制能力,是一个有着重要的理论价值和应用价值的课题。本文的主要目的就是研究当输入样本含有两种典型的噪声——拉斯噪声和均匀噪声的情况下如何选择SVR的参数使SVR具有更强的鲁棒性。首先,本文研究了Huber-SVR的鲁棒性的问题,即着重研究了当输入样本噪声为拉斯模型和均匀模型时, Huber-SVR的参数选择问题,并在贝叶斯框架下推导出了以下结论:当Huber-SVR的鲁棒性最佳时,Huber-SVR中的参数μ与输入拉斯噪声和均匀噪声的标准差σ间均呈近似线性关系。其次,本文研究了r-SVR的鲁棒性的问题,即着重研究了当输入样本噪声为拉斯模型和均匀模型时, r-SVR的参数选择问题,并在贝叶斯框架下推导出了以下结论:当r-SVR的鲁棒性最佳时, r-SVR中的参数r与输入拉斯噪声和均匀噪声的标准差σ间均呈近似线性反比关系。这两个结论亦得到了实验的证实。最后,将Huber-SVR和r-SVR用于实际股市数据回归分析,并验证上述两个结论。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 问题的提出
• 1.1.1 统计学习理论与结构风险最小化
• 1.1.2 支持向量机SVM 及其研究进展
• 1.1.3 支持向量回归机SVR 的鲁棒性及其研究进展
• 1.2 本文研究起点、研究方法及其与已有研究内容之间的联系
• 1.2.1 本文的研究起点
• 1.2.2 本文的研究内容及其与已有研究内容之间的联系
• 1.2.3 本文的研究方法及研究平台
• 1.3 本文研究工作概述和内容安排
• 1.3.1 本文的研究工作概述
• 1.3.2 本文的内容安排
• 第二章 基于MAP 框架的SVR 参数选择的已有研究成果
• 2.1 支持向量回归机与损失函数
• 2.2 基于不同损失函数的支持向量回归机
• 2.2.1 ε支持向量回归机ε-SVR
• 2.2.2 Huber-支持向量回归机Huber-SVR
• 2.2.3 r 范数-支持向量回归机r-SVR
• 2.3 SVR 的贝叶斯框架
• 2.4 ε-SVR 的参数选择与输入噪声间的关系
• 2.4.1 样本数据集含有噪声时的ε-SVR 回归模型
• 2.4.2 ε-SVR 的参数选择与输入噪声间的关系
• 2.5 Huber-SVR 的参数选择与高斯输入噪声间的关系
• 2.5.1 基于MAP 概率框架的理论推导结果
• 2.6 r-SVR 的参数选择与高斯输入噪声间的关系
• 2.6.1 r 范数-支持向量回归机后验估计最大化的必要条件
• 2.6.2 输入噪声为高斯模型时r 的选择与输入噪声的关系
• 第三章 Huber-SVR的参数选择与拉斯输入噪声及均匀输入噪声间的关系
• 3.1 基于MAP 概率框架的理论推导结果
• 3.1.1 Huber-支持向量回归机的参数与拉斯输入噪声间近似线性关系的理论推导结果
• 3.1.2 Huber-支持向量回归机的参数与均匀输入噪声间近似线性关系的理论推导结果
• 3.2 实验和实验结果
• 3.2.1 实验目的
• 3.2.2 实验步骤
• 3.2.3 实验结果与分析
• 3.3 本章小结
• 第四章 r范数SVR的参数选择与拉斯噪声和均匀噪声间的 关系
• 4.1 基于MAP 概率框架的理论推导结果
• 4.1.1 r 范数-支持向量回归机后验估计最大化的必要条件
• 4.1.2 r-SVR 的参数与输入噪声间近似的线性反比关系的理论推导结果
• 4.1.2.1 r-SVR 的参数与拉斯输入噪声间的近似的线性反比关系
• 4.1.2.2 r-SVR 的参数与均匀输入噪声间的近似线性关系
• 4.2 实验和实验结果
• 4.2.1 实验目的
• 4.2.2 实验步骤
• 4.2.3 实验结果与分析
• 4.3 本章小结
• 第五章 SVR 在股市数据回归中的实证分析
• 5.1 Huber 损失函数与 Huber-SVR
• 5.2 r 范数损失函数与 r 范数-SVR
• 5.3 实验与实验结果
• 5.3.1 实验目的
• 5.3.2 实验步骤
• 5.3.3 实验结果与分析
• 结束语
• 致谢
• 参考文献
• 附录1：作者在攻读硕士学位期间发表的论文
• 附录2：实验数据