论文摘要
基于核的正则化算法是统计学习理论的主要研究对象之一,其在计算机、经济、生物等领域有着广泛的应用。算法的一致性分析和误差估计,对算法的可靠性及复杂性,有着重要的意义。在某些实际情况中,单核的算法往往并不令人满意,因此,为提高算法的性能,人们引入基于多个核的假设空间。这样既克服了单核的再生核Hilbert空间的逼近能力有限的问题,也避免了因采用光滑性低的核带来的计算复杂的问题。近几十年来,多核问题越来越引起人们的重视,国内外的学者就这一问题做了深入的研究,并且取得了卓越的成果。本文主要研究基于再生核Hilbert空间多核的正则化算法问题。研究内容主要分为以下几章:第一章简述了学习理论的产生与发展,经验风险最小化原则,正则化算法和再生核Hilbert空间,多核问题的产生,多核问题的研究现状和主要成果,介绍了本文所需要的基本知识和本文的主要工作。第二章研究单位圆周上点积核的严格正定函数。第一节引入严格正定函数的定义,同步讨论了前人关于函数严格正定的充分条件和必要条件,其中用到Kronecker逼近性质和普遍存在模的概念。第二节给出n秩严格正定的定义,利用函数在单位圆周上n秩严格正定与严格正定的等价性和n秩严格正定的充要条件,证明了普遍存在模条件的必要性。关于普遍存在模条件是否是严格正定的充要条件,人们尚未给出证明,在第三节讨论了在某些情况下普遍存在模条件的充分性。第三章研究多核正则化算法解的存在性。第一节首先介绍了多核问题产生的背景,给出核函数空间到半正定矩阵空间的映射,并将多核正则化算法表述为核函数空间上的映射。第二节对核函数空间赋予拓扑,采用算子逼近的方法证得多核正则化算法所对应的映射是连续的,从而得到本章的主要结果:最优解存在只需要核函数空间是一个紧集即可,推广了C.A.Micchelli等人的工作。第三节考虑了采用Gaussian核的多核正则化算法最优解的存在问题,该种算法中核函数空间非紧。利用表示定理把该问题转化为函数最值的存在性问题,给出了算法解存在与不存在的两个充分条件。第四章研究两个核的最小二乘正则化算法。本章研究基于两个核的正则化回归学习算法的一致性与误差估计。关于多核算法的一致性已有的研究较少,Wu Q、Ying Y M、Zhou D X等人研究了多核分类算法的误差分析与一致性。第一节给出了我们所研究算法的框架,将学习误差分为逼近误差和样本误差,给出本章的主要结果;第二节证明了该种算法的表示定理,以及算法解的范数估计;第三节采用积分算子的方法,估计逼近误差;第四节和第五节用Bernstein不等式和覆盖数来估计样本误差的两部分,从而完成主要结果的证明。最后将估计出的学习速率与已有关于单核算法的学习速率进行比较,说明在多数情形下,多核算法优于单核算法。虽然,我们只是讨论了两个核的情形,但我们的方法适用于有限核的情形。第五章总结硕士阶段所作的工作,并对后续工作作出展望。