基于统计学习理论的多核预测模型研究及应用

论文摘要

近几年,用学习理论解决数据分析问题已成为统计学的研究趋势之一。问题规模与复杂性日增的现实,需要更具效率的学习方法。本篇博士论文在统计学习理论的框架下,应用核方法,提出几种新的学习思路,建立了一套多核的支持向量回归机,并成功的应用于实践预测。与传统的学习方法相比较,所设计的新思路更具效率,能以低的计算代价取得期望的预测效果。传统的核学习方法包含的一个主要问题是建立学习模型后采取什么样的优化算法。基于此,本文的第一个创新点是在求解最小二乘支持向量机模型时,针对工作集的选择提出了一个单向收敛序贯最小优化算法（SD-SMO）,该算法要求在迭代过程中仅优化一个拉格朗日乘子,使目标函数基于拉格朗日乘子的梯度单向收敛于0。在标准数据集上的数据试验表明,SD-SMO几乎没有降低学习精度,能有效减少算法迭代的次数,降低了计算成本。为了克服传统的核学习方法需要选择具体核的难题,针对多源数据或异构数据,研究者提出了多核学习方法（MKL）。多核学习的核通常是一族核函数的组合,由核函数族构建的学习核得出预测模型,传统的多核学习是基于l1范数,但模型的稀疏解降低了模型的预测精度。本文的第二个创新点是在l1范数的多核学习基础上,将其推广,得出基于lp（p>1）范数的多核支持向量回归模型,该模型能有效克服稀疏化解降低学习精度的问题,提高了预测效果。针对提出的基于lp（p>1）范数的多核支持向量回归模型求解,本文给出了一个相互交错、轮流优化的算法。在真实的经济数据上的试验结果表明,该方法预测效果比单核支持向量回归及基于l1,范数的多核支持向量回归模型都有明显提高。对于机理复杂、时变性强的数据,在线多核学习方法近来得到了研究者的青睐,也是当前机器学习领域中的又一个研究热点。基于此,本文的最后一个创新点是构建了一个在线多核学习预测框架,并给出了一系列的算法和理论分析。优化算法采取的是两种在线学习算法的融合,考虑到在线学习过程中计算成本逐渐增加的问题,应用了加权随机抽样策略,降低了计算成本。在标准时间序列数据集上的实证分析表明,在线多核支持向量回归预测模型以较大的计算成本获得了较好的预测效果；在采取随机抽取策略以后,能保证较高的预测精度,使学习时间明显减少。以学习理论解决数据分析问题将给统计学带来新的活力,本论文在此方面做了有益的尝试,所得成果的应用不仅仅局限于预测,其构造思路与相关理论技术也可以推广到其他学习领域,论文所做的工作丰富了数据分析处理的理论方法,对统计实践具有一定的指导意义。

论文目录

• 摘要
• Abstract
• 目录
• 1 绪论
• 1.1 选题背景及其意义
• 1.2 支持向量机的研究现状
• 1.2.1 支持向量分类机
• 1.2.2 支持向量回归机
• 1.2.3 核函数
• 1.3 论文创新点与结构安排
• 1.3.1 论文主要创新
• 1.3.2 论文结构安排
• 2 支持向量机原理
• 2.1 统计学习理论
• 2.1.1 学习问题的表述
• 2.1.2 经验风险最小化及VC维
• 2.1.3 结构风险最小化原则
• 2.2 支持向量分类机的理论与方法
• 2.2.1 线性支持向量机
• 2.2.2 非线性支持向量机
• 2.2.3 最小二乘支持向量机
• 2.3 支持向量回归机的理论与方法
• 2.3.1 线性支持向量回归机
• 2.3.2 非线性支持向量回归机
• 2.4 核学习的理论与方法
• 2.4.1 核方法的基本原理
• 2.4.2 核函数相关的定义和理论
• 2.5 本章小结
• 3 支持向量机训练算法研究
• 3.1 引言
• 3.2 序贯最小优化算法
• 3.2.1 序贯最小优化算法原理
• 3.2.2 改进的序贯最小优化算法
• 3.2.3 基于最小二乘支持向量机的序贯最小优化算法
• 3.3 S-SMO算法
• 3.4 实证分析
• 3.4.1 SD-SMO算法与FO-SMO算法比较
• 3.4.2 SD-SMO算法与SO-SMO算法比较
• 3.5 本章小结
• 4 多核支持向量回归机及其算法
• 4.1 引言
• 4.2 多核学习优化算法
• 4.2.1 单阶段多核学习算法
• 4.2.2 两阶段多核学习算法
• 1范数多核支持向量回归机及相应的算法'>4.3 基于l₁范数多核支持向量回归机及相应的算法
• 1范数多核支持向量回归机'>4.3.1 基于l₁范数多核支持向量回归机
• 4.3.2 两层多核学习算法
• p范数多核支持向量回归机及其相应的算法'>4.4 基于l_p范数多核支持向量回归机及其相应的算法
• p范数多核支持向量回归机'>4.4.1 基于l_p范数多核支持向量回归机
• 4.4.2 优化算法
• 4.5 实证分析
• p-MKSVR与SKSVR比较'>4.5.1 l_p-MKSVR与SKSVR比较
• p-MKSVR与l₁-MKSVR比较'>4.5.2 l_p-MKSVR与l₁-MKSVR比较
• 4.6 本章小结
• 5 在线自适应多核支持向量回归机及其算法
• 5.1 引言
• 5.1.1 在线学习
• 5.1.2 本章主要工作
• 5.2 在线自适应多核支持向量回归机的框架及相应的算法
• 5.2.1 AA-OMKRA
• 5.2.2 AR-OMKRA
• 5.2.3 RA-OMKRA
• 5.2.4 RR-OMKRA
• 5.3 实证分析
• 5.3.1 AA-OMKRA与残差修正的在线自适应核学习算法比较
• 5.3.2 评估随机策略的性能
• 5.3.3 评估随机策略对支持向量个数的影响
• 5.3.4 评估权重折扣参数v对学习精度的影响
• 5.4 本章小结
• 6 总结与展望
• 6.1 创新性工作总结
• 6.2 研究工作展望
• 参考文献
• 致谢
• 攻读学位期间主要的研究成果
• 攻读学位期间参与的项目研究及获得的奖励