最小二乘支持向量机的改进及其在化学化工中的应用

论文摘要

最小二乘支持向量机（least squares support vector machine，LSSVM）是一种遵循结构风险最小化（structural risk minimization，SRM）原则的核函数学习机器，近年来化学、化工领域的应用日益广泛。本文以LSSVM在实际应用中的若干问题为主线，针对其应用中存在的高维数据降维、超参数选择和稀疏性等问题，提出了若干新算法，并应用于化学物质结构与性质间关系、化工生产过程等实际问题建模，效果显著。全文的主要内容可以归结为以下六个部分，其中包括了研究工作所取得的主要成果。1、系统回顾了统计学习理论和支持向量机的发展历史、研究现状与应用领域；介绍了支持向量机原理，及其应用中存在的一些问题。2、针对支持向量机解决非线性分类问题时，必须先将样本向量由原空间映射至高维重建核Hilbert空间的特点，利用核函数技术将线性的分类相关分析算法拓展至高维的重建核Hilbert空间，此即非线性分类相关分析（nonlinear classification correlative analysis，NLCCA）算法。最后，将NLCCA与线性支持向量分类器（linear support vector classifier，LSVC）集成得到NLCCA-LSVC，并应用于两个典型的复杂化学模式识别问题。3、对于小样本的LSSVM函数回归问题，在快速留一法的基础上，以全样本的留一预测误差平方和sse为目标，导出了sse对超参数的梯度，并据此以最速下降法优选超参数，构建G-LSSVM模型。最后将之用于一个小样本、非线性柠檬酸发酵过程建模问题。4、由于神经网络、LSSVM等经验模型的精度完全依靠测量数据，导致经验模型不能将实际过程的先验知识融合在内，所以模型的预报有时会与过程机理相矛盾。针对二元恒温（恒压）汽液平衡体系的汽相组成计算问题，为解决这一问题，在胡英等人工作基础上，将Gibbs-Duhem方程与多层前传神经网络和LSSVM结合，建立了融入先验知识的汽相组成计算混合模型，使得计算结果受Gibbs-Duhem方程约束。最后混合模型被应用于2个实际二元汽液平衡体系的计算。5、由于计算经验风险的损失函数为二次函数形式，LSSVM丧失了标准支持向量机的稀疏性，导致其训练完毕之后，用于分类时效率降低；为使LSSVM具有稀疏性，本文从统计分析的角度出发，选取训练样本中分类作用最大的若干样本个体作为支持向量，并将非支持向量上的分类信息转移至支持向量上，提出了新的LSSVM稀疏化算法，最后将两种新的LSSVM稀疏化应用于若干实际分类问题。另外，本文提出的稀疏化算法可直接应用于多类问题。6、本文利用核函数矩阵的奇异值分解，得到了可以节省超参数选取时间的分类器：SVD-LSSVM。SVD-LSSVM用奇异值贡献率来平衡经验风险与LSSVM的模型复杂度，从新的途径实现了SRM原则。论文还分析了研究工作的不足，并展望了今后的发展。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 引言
• 1.2 常用经验建模方法
• 1.3 经验建模的若干问题
• 1.4 本文研究内容及组织
• 第二章 最小二乘支持向量机
• 2.1 研究背景
• 2.1.1 统计学习理论简介
• 2.1.2 支持向量机原理
• 2.1.3 SVM在实际应用中的若干问题
• 2.2 LSSVM原理
• 2.2.1 两类LSSVM分类器
• 2.2.2 多类LSSVM分类器
• 2.2.3 用于函数回归的LSSVM
• 2.3 LSSVM在实际应用中的若干问题
• 2.3.1 海量样本的LSSVM训练算法
• 2.3.2 LSSVM超参数选择
• 2.3.3 稀疏LSSVM
• 2.3.4 加权LSSVM
• 2.3.5 对LSSVM的其它改进
• 2.4 LSSVM的应用
• 2.5 本章小结
• 第三章 基于核函数的非线性分类相关分析
• 3.1 维数灾难和降维策略发展概况
• 3.2 分类相关分析算法
• 3.3 基于核函数的非线性CCA算法
• 3.3.1 CCA算法步骤的改写
• 3.3.2 基于核函数的非线性CCA
• 3.3.3 NLCCA与线性支持向量分类器的集成
• 3.4 对于2个复杂化学模式分类问题的应用
• 3.4.1 样本数据说明
• 3.4.2 分类器的建立
• 3.4.3 分类器的性能分析
• 3.5 小结
• 第四章 LSSVM超参数选取的梯度法
• 4.1 化工过程建模的意义
• 4.2 梯度下降法选取LSSVM超参数
• 4.2.1 算法原理和步骤
• 4.2.2 算法测试
• 4.3 G-LSSVM模型在柠檬酸发酵过程建模中的应用
• 4.3.1 柠檬酸发酵过程简介
• 4.3.2 柠檬酸发酵过程的G-LSSVM建模
• 4.4 本章小结
• 第五章 二元汽液平衡计算的混合模型
• 5.1 先验知识
• 5.1.1 先验知识的定义
• 5.1.2 先验知识与机理模型和经验模型之间的关系
• 5.2 学习机器与先验知识混合的模型
• 5.2.1 ANN与先验知识的混合
• 5.2.2 SVM与先验知识的混合
• 5.3 汽液平衡计算
• 5.3.1 汽液平衡计算的常用方法
• 5.3.2 汽液平衡计算的无模型法
• 5.4 Gibbs-Duhem方程与学习机器混合建模
• 5.5 对于两个二元汽液平衡体系的应用
• 5.6 本章小结
• 第六章 基于统计分析的LSSVM稀疏化
• 6.1 基于统计分析的LSSVM稀疏化算法基本思想
• 6.1.1 样本个体的分类重要性
• 6.1.2 非支持向量的信息转移
• 6.2 两种稀疏化算法
• 6.3 算法的测试与分析
• 6.4 稀疏化算法的实际应用
• 6.5 本章小结
• 第七章 基于核函数矩阵SVD分解实现SRM原则
• 7.1 非线性模式分类与RKHS线性回归
• 7.2 简化LSSVM
• 7.3 SVD求解线性回归问题
• 7.4 SVD-LSSVM算法及其分析
• 7.4.1 算法步骤
• 7.4.2 对SVD-LSSVM交叉验证的分析
• 7.4.3 SVCR值对SVD-LSSVM分类性能的影响
• 7.5 算法应用
• 7.6 结论
• 第八章 总结与展望
• 8.1 全文工作总结
• 8.2 存在的不足
• 8.3 工作展望
• 参考文献
• 致谢
• 作者攻读博士学位期间撰写的论文和参与的项目