三种有效的核机器

论文摘要

统计学习理论和核技术的结合造就了支持向量机的成功，同时也触发了核机器的产生和其迅速的发展。核机器已经成为机器学习领域一个新的研究方向。本文在对统计学习理论和支持向量机进行深入分析的基础上，进一步研究并提出了以下三类核机器： （1） 隐空间核机器。首先在隐空间中采用最小二乘损失函数度量经验风险，提出了最小二乘隐空间支持向量机（LSHSSVMs）。接着为了解决LSHSSVMs没有稀疏性的缺陷，我们在隐空间中构造出一种新的结构风险，利用这一结构风险，提出了稀疏隐空间支持向量机（SHSSVMs）。 （2） 小波核机器。基于正交小波尺度函数良好的逼近性能，直接用其来构造核函数，提出了一种基于小波核的脊回归算法（WKRR）。WKRR对核函数没有Mercer正定条件的约束，且核函数构造简单，易于实现。 （3） 贝叶斯核机器。基于秩-1更新，提出了稀疏贝叶斯学习算法（SBLA）。该算法具有较低的计算复杂度和较高的稀疏性，从而适合于求解大规模问题。 理论分析以及仿真实验结果证明了所提算法的有效性和可行性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• §1.1 机器学习简介
• §1.2 有限样本的预测学习
• §1.3 核机器学习方法
• §1.4 论文主要工作和体系结构
• 第二章 统计学习理论及支持向量机简介
• §2.1 统计学习理论简介
• §2.2 支持向量机算法
• §2.2.1 最优分类超平面
• §2.2.2 模式识别支持向量机
• §2.2.3 回归支持向量机
• 第三章 隐空间核机器
• §3.1 最小二乘隐空间支持向量机
• §3.1.1 引言
• §3.1.2 隐空间支持向量机的基本思想
• §3.1.3 最小二乘隐空间支持向量机
• §3.1.4 最小二乘隐空间支持向量机的计算
• §3.1.5 最小二乘隐空间支持向量机和隐空间支持向量机的性能比较
• §3.1.6 仿真实验
• §3.1.7 结论
• §3.2 稀疏隐空间支持向量机
• §3.2.1 引言
• §3.2.2 VC界的放宽
• §3.2.3 构造稀疏隐空间支持向量机
• §3.2.4 仿真试验
• §3.2.5 结论
• 第四章 基于小波的核机器
• §4.1 引言
• §4.2 小波逼近
• §4.3 正交小波尺度核函数
• §4.4 基于小波核的脊回归
• §4.5 模型选择
• §4.6 仿真实验
• §4.7 结论
• 第五章 贝叶斯核机器
• §5.1 贝叶斯学习
• §5.2 基于有效子集选择的贝叶斯学习
• §5.2.1 引言
• §5.2.2 模型确立
• §5.2.3 稀疏贝叶斯学习算法
• §5.2.4 算法仿真
• §5.2.5 结论
• 第六章 总结与展望
• §6.1 全文工作总结
• §6.2 进一步工作
• §6.3 核机器学习的展望
• 附录A 定理3.1.1的证明
• 附录B：定理3.2.1的证明
• 参考文献
• 致谢
• 硕士期间研究成果