支持向量回归机理论及其工业应用研究

论文摘要

基于数据的机器学习是现代智能信息处理技术十分重要的一个方面，主要研究如何从一些观测数据出发得出目前尚不能通过原理分析得到的规律，从而利用这些规律去分析、认识客观对象，并对未来数据或无法观测的数据进行预测。 支持向量机是在统计学习理论基础上发展起来的一种新的机器学习方法。它最先由Vapnik及其合作者在20世纪90年代提出，近年来无论是从理论研究、算法实现还是应用方面都有了突飞猛进的发展。 然而，作为一种相对年轻的技术，支持向量机在许多方面仍不完善。因此进一步发展和完善支持向量机的理论和方法，以及拓展支持向量机在实际中的应用范围具有十分重要的意义。本文针对支持向量回归机理论和应用两方面进行研究和探索，主要工作包括以下几个方面： 1)提出了一种基于信息几何的支持向量回归机核函数构建算法。支持向量机的性能在很大程度上依赖于核函数的选取，然而目前对于核函数的选择还缺乏理论指导。在从信息几何角度分析核函数几何结构的基础上，提出一种核函数构建算法，使得核函数能充分利用样本数据的信息，从而提高支持向量回归机的性能；在钢水温度预报中的应用表明了方法的有效性。 2)证明了核框架下SILF-SVR与普通Kriging的等价性关系。从数值分析的角度看，支持向量回归机是一种数据插值方法。在给出一种由新的“统一”损失函数（SILF）得到的支持向量回归机的“统一”表达式（SILF-SVR）后，证明了其与另一种数据插值方法——普通Kriging的等价性；并根据两者的等价性关系给出一种核函数参数的选择方法。 3)提出了一种基于领域知识的支持向量回归机算法。标准的支持向量机是完全基于数据的，也即是说，由标准的支持向量机算法得到的模型与问题的领域知识无关，完全取决于训练数据本身。然而实际中我们总可以得到一定的领域知识，为了解决此问题，提出了一种集成领域知识的训练算法；在此基础之上给出了一种信息融合的框架。 4)研究了基于区间信息的支持向量回归机。在实际获取样本时，由于受到

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 支持向量机的产生背景
• 1.1.1 机器学习的由来
• 1.1.2 机器学习研究的发展历程
• 1.1.3 支持向量机的提出
• 1.2 支持向量机的国内外研究现状
• 1.2.1 支持向量机的基础理论研究
• 1.2.2 支持向量机的训练算法研究
• 1.2.3 支持向量机的应用研究
• 1.3 课题来源、目的及意义
• 1.4 论文内容安排与创新点
• 1.4.1 论文的内容安排
• 1.4.2 主要创新点
• 参考文献
• 第二章 支持向量机的理论基础
• 2.1 统计学习理论
• 2.1.1 学习问题的模型
• 2.1.2 经验风险最小化原则
• 2.1.3 学习机器的复杂度与泛化能力:一个矛盾问题
• 2.1.4 学习理论的核心
• 2.2 支持向量机算法
• 2.2.1 支持向量分类机
• 2.2.2 支持向量回归机
• 2.3 核
• 2.3.1 再生核理论与Mercer定理
• 2.3.2 常用的核及其构造
• 2.4 本章小结
• 参考文献
• 第三章 基于信息几何的SVR核函数构建
• 3.1 引言
• 3.2 基于信息几何的支持向量机核结构
• 3.3 与数据依赖的核构建
• 3.4 仿真研究
• 3.4.1 非线性函数回归
• 3.4.2 钢水温度预报模型
• 3.5 本章小结
• 参考文献
• 第四章 核框架下SILF-SVR与普通KRIGING关系研究
• 4.1 引言
• 4.2 SILF-SVR表达式
• 4.2.1 软不敏感损失函数（SILF）
• 4.2.2 SILF-SVR
• 4.3 普通KRIGING方法原理
• 4.3.1 区域化变量
• 4.3.2 平稳假设及内蕴假设
• 4.3.3 普通Kriging方法
• 4.4 SILF-SVR与普通KRIGING等价性证明
• 4.4.1 SILF-SVR与普通Kriging等价性
• 4.4.2 协方差函数作为Mercer容许核的可行性
• 4.4.3 一种核参数选择方法
• 4.5 本章小结
• 参考文献
• 第五章 基于领域知识和不确定信息的SVR研究初探
• 5.1 引言
• 5.2 基于领域知识的支持向量回归机
• 5.2.1 基于领域知识的支持向量回归机
• 5.2.2 一种信息融合框架
• 5.3 基于区间的支持向量回归机
• 5.3.1 直接方法
• 5.3.2 基于QP方法
• 5.4 本章小结
• 参考文献
• 第六章 基于SVR的钢淬透性计算及软件实现
• 6.1 引言
• 6.2 钢淬透性
• 6.2.1 基本概念
• 6.2.2 端淬法
• 6.2.3 现有的钢淬透性计算方法
• 6.3 基于支持向量回归机的钢淬透性计算
• 6.3.1 模型变量选取
• 6.3.2 数据预处理
• 6.3.3 参数选取
• 6.3.4 计算结果
• 6.3.5 核函数选择对支持向量回归机建模的影响
• 6.4 软件实现
• 6.5 本章小结
• 参考文献
• 第七章 总结与展望
• 7.1 全文总结
• 7.2 研究展望
• 攻读博士学位期间撰写的论文及参加的科研项目
• 一、发表和已录用的论文
• 二、投出在审论文
• 三、参加的科研项目
• 致谢