基于核的正则化学习算法

论文摘要

学习理论是机器学习算法的数学基础.它在许多科学技术领域中都有着重要的应用.在这篇论文中,我们主要考虑基于核的正则化学习算法.像支持向量机这样采用凸损失函数和再生核希尔伯特空间的Tikhonov正则化方法已在文献中有较多的研究;而本文中我们将引入一些非标准的框架,并对新框架下的算法作深入的分析.首先,我们将讨论带有e~1正则项的回归算法.这一算法的假设空间是依赖于数据样本的,并且可以使用非对称的核函数.样本相关的假设空间将为误差分析带来一项额外的假设误差,这一点与通常情况下样本无关的假设空间有本质的区别.在对正则化误差、样本误差和假设误差分别进行估计之后,我们得到了误差的完整估计,这一误差与核函数的性质、输入空间、边缘分布密度、以及回归问题的回归函数有关.在选定合适的正则化参数之后,我们获得了学习算法的学习率.在核函数为欧氏空间上的高阶光滑函数时,e~1正则化算法的学习率还可以进一步改进.其次,我们分析了从非一致概率测度中抽样的二分类问题.这里的主要目标是要对分类器的额外分类误差给出令人满意的估计,而我们的结果表明非一致抽样与独立同分布抽样的情形是类似的.同时,通过一个关于多分类器误差分析的比较定理,我们还可以对多分类问题作出误差估计.最后,我们考虑了e~1正则化方法带来的稀疏性,这一问题最近引起了研究人员的广泛注意.这里,我们在理论和应用方面都给出了一些讨论,以供将来进一步研究.

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 各领域中经典的正则化方法
• 1.1.1 岭回归
• 1.1.2 病态问题的Tikhonov正则化
• 1.2 正则化学习
• 1.2.1 正则化学习的框架
• 1.2.2 再生核希尔伯特空间
• 1.2.3 支持向量机
• 1.2.4 在数据相关假设空间中学习
• 1.3 本文主要贡献
• 1正则化学习'>第2章 一般度量空间上的e¹正则化学习
• 1正则化的稀疏性'>2.1 e¹正则化的稀疏性
• 2.1.1 LASSO回归
• 2.1.2 压缩感知理论
• 1正则化的回归'>2.2 基于e¹正则化的回归
• 2.3 非对称核学习的误差分解
• 2.4 估计正则化误差
• 2.5 估计假设误差
• 2.6 估计样本误差
• 2.7 推导学习率
• 第3章 欧氏空间中使用光滑核学习
• 1正则化回归的学习率'>3.1 欧氏空间中使用光滑核于e¹正则化回归的学习率
• 3.2 逼近论中的一个引理
• 3.3 利用高阶光滑性估计假设误差
• 3.4 与覆盖数有关的样本误差
• 3.5 通过光滑核学习的学习率
• 第4章 非一致抽样的分类算法
• 4.1 通过非一致抽样来学习
• 4.1.1 非一致抽样的设定
• 4.1.2 误差分解
• 4.1.3 估计漂移误差
• 4.1.4 非一致抽样时的样本误差
• 4.1.5 推导学习率
• 4.2 多分类算法
• 4.2.1 多分类的分离函数
• 4.2.2 多类Parzen窗算法
• 4.2.3 误差分析
• 第5章 学习算法的稀疏性
• 5.1 稀疏性的理论分析
• 5.2 稀疏性的应用
• 5.2.1 不平衡分类中的向下抽样
• 参考文献
• 在读期间发表的学术论文与取得的研究成果
• 致谢