基于Gamma Test的最小二乘支持向量机参数在线优化方法

论文摘要

近年来,基于机器学习的时间序列回归预测模型越来越多的用以解决实际工业生产中遇到的预测问题。其中算法简单快速、模型易于确定的最小二乘支持向量机(LSSVM)得到了广泛应用。在回归问题建模中,模型参数的正确选择是提高预测精度的重要手段。本文提出了一种基于样本有效噪声估计(Gamma Test)的LSSVM参数优化方法,并将其应用于时间序列预测问题中。对于时间序列嵌入维数的选择,本文采用基于Gamma Test的嵌入维数优化方法对时间序列嵌入维数进行优化。在对LSSVM参数优化充分研究的基础上,提出了一种基于有效噪声估计的梯度优化算法用于超参数的求解。该算法从超参数的选择和验证两个方面进行研究,首先对输入输出样本的有效噪声进行估计,然后使用共轭梯度算法对核函数宽度和惩罚系数进行优化。本文所提算法在参数选取方面克服了网格搜索速度慢,存在盲目性的缺点,在参数验证方面又避免了交叉验证的繁琐运算。为验证本文所提方法的有效性,将其与常用的LSSVM参数优化方法进行对比应用在带噪声的Sine函数和工业煤气系统实际数据的仿真实验中,实验结果表明,与其它算法相比,本文所提算法具有优化精度高,优化耗时少等优点,使得基于有效噪声估计的方法可有效应用在冶金企业的煤气系统流量预测中。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究背景
• 1.2 时间序列预测的研究现状
• 1.2.1 局域预测法
• 1.2.2 人工神经网络
• 1.2.3 核学习方法
• 1.3 核学习方法的参数优化
• 1.3.1 嵌入维数的优化
• 1.3.2 超参数优化
• 1.4 本文主要工作
• 2 基于Gamma Test的LSSVM参数优化
• 2.1 Gamma Test方法
• 2.1.1 基本算法
• 2.1.2 Gamma Test的应用
• 2.2 LSSVM参数优化及验证方法
• 2.2.1 LSSVM简介
• 2.2.2 超参数对LSSVM的影响
• 2.2.3 超参数的验证方法
• 2.2.4 关于嵌入维数
• 2.3 基于Gamma Test的LSSVM参数优化
• 2.3.1 超参数的验证
• 2.3.2 基于梯度下降的快速优化算法
• 3 基于Gamma Test超参数优化在煤气系统预测中的应用
• 3.1 背景介绍
• 3.1.1 冶金企业煤气系统
• 3.1.2 煤气流量预测存在问题
• 3.2 煤气序列参数优化仿真
• 3.2.1 选择邻近点个数
• 3.2.2 煤气流量序列参数优化
• 4 总结与展望
• 参考文献
• 攻读硕士学位期间发表学术论文情况
• 致谢