非线性非高斯时间序列预测研究

论文摘要

决策是人们生产、生活和工作中一项基本思维和实践活动。小至个人生活,大至整个国家建设,都会遇到对一些行动方案可行性及优劣做出评价,从中选择满意或“最优”的行为,而预测作为决策的前提和基础,对方案最终选择起着至关重要的作用,因此预测也是人类生存和发展的一项重要活动。时间序列预测作为预测领域内的一个重要研究方向,一直是该领域的研究热点和难点,不仅在理论上具有重要意义,而且在实际应用中也有迫切要求,本论文主要工作是围绕时间序列预测展开,具体内容包括:1.针对一般非线性、非高斯时间序列,提出基于RBF-HMM模型的时间序列预测数学模型。该模型具有两个显著特点:（1）用径向基函数（RBF）神经网络逼近时间序列中的非线性部分;（2）用隐马尔可夫模型（HMM）对随机噪声项进行非高斯建模。同时得到三个重要结论:（1）观测噪声服从高斯分布只是服从HMM分布的特例,而观测噪声服从HMM分布则是服从高斯分布的推广;（2）当HMM随机项服从单状态、单高斯分布时,该模型退化为常见的非线性自回归滑动平均（NARMA）模型;（3）当HMM随机项服从单状态、单高斯分布且RBF网络隐含层节点数为零时,则该模型退化为噪声项服从高斯白噪声的自回归滑动平均（ARMA）模型。2.在时间序列预测模型的统一框架下,研究模型结构和参数的离线估计及基于静态RBF-HMM模型的时间序列预测问题。首先讨论RBF网络结构和参数的估计问题,分别介绍RBF网络输入层节点数、隐含层节点数的确定方法,深入研究基于梯度下降法的RBF网络参数确定;其次,讨论HMM模型结构和参数的离线估计,分别介绍隐状态数、混合高斯模型数以及HMM参数的确定方法;最后研究基于静态RBF-HMM模型的时间序列预测,并进行相应实验研究。3.针对静态RBF-HMM模型不能动态调整参数的不足,提出模型参数可调的动态RBF-HMM预测模型,并采用序列蒙特卡罗（SMC）方法实现模型参数在线调整和基于动态RBF-HMM模型的时间序列预测。首先给出动态RBF-HMM模型的观测方程和状态转移方程;其次详细介绍了Rao-Blackwellised粒子滤波方法;重点研究基于SMC方法的模型参数在线估计和基于动态RBF-HMM模型的时间序列预测;最后分别用太阳黑子数平滑月均值数据和南京禄口国际机场旅客吞吐量周数据进行实验研究,结果表明该模型及算法的有效性。4.提出结构和参数均可调整的动态RBF-HMM预测模型,采用SMC方法实现其结构和参数的在线调整以及基于该动态RBF-HMM模型的时间序列预测。分别讨论RBF网络结构（包括隐含层节点数和输入层节点数）和HMM结构（包括隐状态数和混合高斯模型数）变化对模型参数的影响;并采用SMC方法实现模型结构和参数的在线调整,同时实现基于该动态RBF-HMM模型的时间序列预测;最后分别用太阳黑子数平滑月均值和南京禄口国际机场旅客吞吐量周数据进行实验研究。5.研究基于RBF-HMM模型的时间序列多步预测问题。首先讨论多步预测的基本概念;然后提出采用SMC方法实现时间序列多步预测的基本步骤;接着深入研究基于RBF-HMM模型的时间序列多步预测,并提出相应的算法;最后用CRU国际钢材价格指数序列进行实验研究,结果表明该模型及算法的有效性。6.针对现实生活中的船用钢价格序列,进行基于模型参数和结构均可调的动态RBF-HMM模型的建模和预测研究,实践证明该模型在船用钢价格序列预测中不失为一种有效的方法,并构建了相应的价格预测信息系统。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 预测含义及基本原理
• 1.1.1 预测的含义
• 1.1.2 预测的基本原理
• 1.2 研究背景及意义
• 1.3 研究现状
• 1.4 论文的主要工作及创新点
• 1.4.1 研究内容
• 1.4.2 创新点
• 第二章 预备知识
• 2.1 引言
• 2.2 时间序列预测
• 2.3 贝叶斯统计推断
• 2.4 径向基函数神经网络
• 2.4.1 RBF 神经网络结构
• 2.4.2 RBF 网络输出计算
• 2.4.3 RBF 学习算法
• 2.5 隐马尔可夫模型
• 2.5.1 隐马尔可夫模型的含义
• 2.5.2 隐马尔可夫模型的基本元素
• 2.5.3 隐马尔可夫模型的基本问题和基本算法
• 2.6 序列蒙特卡罗方法
• 2.7 小结
• 第三章 非线性非高斯时间序列预测模型
• 3.1 引言
• 3.2 ARMA 模型
• 3.3 NARMA 模型
• 3.4 基于径向基函数神经网络的非线性建模
• 3.5 基于隐马尔可夫模型的非高斯建模
• 3.6 预测模型的总体框架
• 3.7 小结
• 第四章 基于静态RBF-HMM 模型的时间序列预测
• 4.1 引言
• 4.2 径向基函数网络结构和参数的估计
• 4.2.1 径向基网络结构的确定
• 4.2.2 径向基函数网络的参数估计
• 4.2.3 RBF 网络结构和参数估计算法研究
• 4.3 隐马尔可夫模型的结构和参数估计
• 4.3.1 隐马尔可夫模型结构的确定
• 4.3.2 隐马尔可夫模型的参数估计
• 4.4 基于静态RBF-HMM 模型的时间序列预测
• 4.5 实验研究
• 4.6 小结
• 第五章 基于动态RBF-HMM 模型的时间序列预测——模型参数可调
• 5.1 引言
• 5.2 观测方程与状态转移方程
• 5.3 Rao-Blackwellised 粒子滤波法
• 5.4 基于动态RBF-HMM 模型的时间序列预测
• 5.4.1 抽样步
• 5.4.2 观测值预测
• 5.4.3 权重更新及重采样
• 5.4.4 精确计算
• 5.4.5 预测算法描述
• 5.5 动态RBF-HMM 模型中的卡尔曼滤波公式推导过程
• t| r_t, y_1:t-1 )'>5.5.1 计算先验概率分布p(α_t| r_t, y_1:t-1)
• t|r_t, α_t ）'>5.5.2 计算似然概率分布p（y_t|r_t, α_t）
• t| r_t, y_1:t-1 )'>5.5.3 计算归一化概率分布p(y_t| r_t, y_1:t-1)
• 5.6 实验研究
• 5.6.1 太阳黑子数平滑月均值序列
• 5.6.2 南京禄口国际机场旅客吞吐量序列
• 5.7 小结
• 第六章 基于动态RBF-HMM 模型的时间序列预测——模型结构和参数可调
• 6.1 引言
• 6.2 结构可变的动态RBF-HMM 预测模型框架
• 6.2.1 结构可变的动态RBF 神经网络
• 6.2.2 结构可变的动态HMM 噪声项建模
• 6.3 观测方程和状态转移方程
• 6.4 RBF 网络结构变化对模型参数的影响
• 6.4.1 隐含层节点数可变
• 6.4.2 观测序列时滞可变
• 6.4.3 误差反馈时滞可变
• 6.5 HMM 结构变化对模型参数的影响
• 6.5.1 隐状态数可变
• 6.5.2 混合高斯模型数可变
• 6.6 基于结构可变的动态RBF-HMM 模型预测算法描述
• 6.7 实验研究
• 6.7.1 太阳黑子数平滑月均值序列
• 6.7.2 南京禄口国际机场旅客吞吐量序列
• 6.8 小结
• 第七章 基于RBF-HMM 模型的时间序列多步预测
• 7.1 引言
• 7.2 多步预测的基本概念
• 7.3 基于RBF-HMM 模型的多步预测基本步骤
• 7.3.1 粒子抽样
• 7.3.2 多步观测值预测
• 7.3.3 权重更新及重采样
• 7.3.4 卡尔曼滤波
• 7.4 基于RBF-HMM 模型的多步观测值预测
• 7.4.1 计算概率密度函数 p ( y|
• t|y_1:t-1)'>_t|y_1:t-1)
• 7.4.2 计算概率密度函数 p ( y|
• t+1 |y_1:t-1,y|'>_t+1 |y_1:t-1,y|
• tⁱ⁰)'>_tⁱ⁰)
• 7.4.3 计算概率密度函数p(y|
• t+2|y_1:t-1,y|'>_t+2|y_1:t-1,y|
• tⁱ⁰, y|'>_tⁱ⁰, y|
• t+1^i0,i1)'>_t+1^i0,i1)
• 7.4.4 多步测量值预测p(y|
• t+2| y_1:t-1)'>_t+2| y_1:t-1)
• 7.4.5 多步预测算法描述
• 7.5 实验研究
• 7.6 小结
• 第八章 船用钢价格预测应用系统的开发
• 8.1 引言
• 8.2 基于RBF-HMM 模型的船用钢价格预测
• 8.2.1 船用钢价格预测的必要性分析
• 8.2.2 基准序列的选择
• 8.2.3 船用钢价格短期预测及结果
• 8.3 信息系统的构建
• 8.3.1 系统主界面
• 8.3.2 样本采集系统
• 8.3.3 数据管理系统
• 8.3.4 价格预测系统
• 8.4 小结
• 第九章 总结与展望
• 9.1 工作与总结
• 9.2 展望
• 参考文献
• 致谢
• 在学期间的研究成果及发表的学术论文