改进BP网络及其在预测问题中的应用研究

论文摘要

预测是制定计划的前提,为决策提供依据。预测研究是人类生存和发展的关键活动。定量预测作为描述未来不确定事物的最准确、科学的方法,根据调查统计数据,运用统计方法、数学模型和算法,对事物未来发展的规模、趋势、速度等情况进行测定,具备客观、细化、规范化的优点,对于人类文明进步、经济社会发展、疾病灾害预防、探索未知世界等都具有举足轻重的作用。Back-Propagation神经网络是按照误差梯度下降原则进行权值调整的多级前馈神经网络,具有非线性映射、自组织、误差反馈调整、泛化和容错等能力,是预测问题研究的重要工具,应用领域非常广泛。然而,基本BP网络的固有缺陷:易于陷入局部最小;收敛速度慢,训练时间长;收敛性能过分依赖于初始连接权值、学习率和动量因子的选择;隐藏层层数及隐层结点数难以确定等,严重影响了它的应用效果。针对缺陷进行改进后的BP网络通常是神经网络解决实际预测问题的首选,因为改进BP网络较之基本BP网络往往训练时间短,样本拟合率高,体现在预测问题上便是预测效率高、准确率高。在提出两种新型Back-Propagation神经网络改进方案的基础上,致力于以改进Back-Propagation神经网络为主体的混合定量预测模型和方法的研究,以达到有效解决降雨量预报、人口数量预测问题的目的。主要研究工作如下:1、对BP网络的产生、基本原理、算法描述和优缺点进行总结和归纳,并综述了BP网络的诸多改进方法,为BP网络用于预测问题研究奠定基础。在分析、回顾预测研究和定量预测研究概况的基础上,着重讨论了因果关系类预测中的回归预测法和时间序列类预测中的移动平均法、指数平滑法。2、提出了两种BP网络的新型改进方案:加确保因子的改进BP网络（GF-MBP）,它对Sigmoid函数的导函数进行分段处理,引入了确保因子,在理论上确保了充分的权值调整幅度,通过对于三个Benchmark问题的仿真实验,发现确保因子取值接近0.9时,GF-MBP网络的训练收敛性和成功率都优于加动量项BP网络;基于二次动量项的改进BP网络（SOM-MBP）,在发挥一次动量项优势的基础上兼顾二次动量项增强（减弱）连接权变化幅度的辅助作用,提出一次动量因子和二次动量因子的量化关系,并借鉴Vogl算法动态调整权值变化幅度的成功经验。对于三个Benchmark问题的实验结果显示,SOM-MBP网络的收敛速度极快,在连接权空间中的全局、局部搜索能力更强。3、改进BP网络用于解决降雨量预报问题,首先利用主成分分析法（PCA）降低所收集的气象数据的维数,然后选取GF-MBP网络学习气象数据中蕴含的内在规律,从而建立起PCA-BP降雨量预报模型。预测结果显示,基于GF-MBP算法的PCA-BP模型,比基于基本BP算法、加动量项BP算法的模型训练效率更高,预报准确率更高;比多元线性、非线性回归预测方法的预报准确率更高。4、改进BP网络用于解决人口数量预测问题,根据人口数量增长变化的趋势,创新性地提出了灰色Verhulst-BP模型。灰色Verhulst-BP模型既保持了灰色Verhulst模型S-型特征、充分利用确定性信息的优点,又将灰色Verhulst模型跟SOM-MBP网络有机融合,利用BP网络自学习、误差反馈校正能力强以及SOM-MBP网络快速收敛和权值空间中搜索能力强的优势对发展系数和灰作用量进行微调,以提高预测的准确率和适应性。采用GV-BP模型预测我国人口数量,无论在拟合已知数据,还是在短期、中长期预测上,都比两种常用时间序列类预测法二次移动平均法、二次指数平滑法预测精度更高、适应性更强;跟同类其它灰色模型的比较中,GV-BP同样具有明显的比较优势。GV-BP模型对于具有S-型趋势时间序列类预测问题的研究具有重要的理论和实用价值。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 BACK-PROPAGATION神经网络概述
• 1.1.1 BP 网络的产生
• 1.1.2 BP 网络的应用状况
• 1.2 预测概述
• 1.2.1 预测的概念和作用
• 1.2.2 预测研究的基本原理
• 1.2.3 预测研究的分类
• 1.3 课题研究的意义、和内容安排
• 1.3.1 课题研究的意义
• 1.3.2 课题研究的内容安排
• 第2章 BACK-PROPAGATION 神经网络及其改进
• 2.1 BACK-PROPAGATION神经网络基本原理
• 2.1.1 BP 网络的过程描述
• 2.1.2 BP 网络的算法描述
• 2.1.3 基本BP 网络的优缺点
• 2.2 BP 网络改进方法综述
• 2.2.1 基于梯度下降的启发式改进方法
• 2.2.2 融入其他优化思想和算法
• 2.2.3 优化网络拓扑结构
• 2.3 有效脱离平坦区的新型BP 网络
• 2.3.1 训练过程中的误差曲面
• 2.3.2 基本BP 网络难以脱离平坦区的现象分析
• 2.3.3 加确保因子的权值调整规则
• 2.3.4 评价BP 网络性能的基准（Benchmark）问题
• 2.3.5 新型权值调整规则的仿真实验和确保因子的估值
• 2.4 基于二次动量项的新型BP 网络
• 2.4.1 动量项改进方法回顾
• 2.4.2 二次动量因子的确定
• 2.4.3 加二次动量项的改进BP 算法仿真实验
• 第3章 定量预测研究
• 3.1 定量预测概述
• 3.1.1 定量预测研究的背景与现状
• 3.1.2 定量预测的基本步骤
• 3.1.3 定量预测结果的精度、评价
• 3.2 定量预测研究的常用方法
• 3.2.1 因果关系类预测
• 3.2.2 时间序列类预测
• 第4章 基于主成分分析和改进BP 网络（PCA-BP）的降雨预报研究
• 4.1 PCA-BP 降雨预报模型的理论基础、数据准备
• 4.1.1 PCA-BP 降雨预报模型研究的出发点
• 4.1.2 主成分分析法
• 4.1.3 用于降雨预报的历史气象数据
• 4.2 PCA-BP 降雨预报模型的仿真实现
• 4.2.1 降雨预报的预测目标
• 4.2.2 生成影响降雨的主成分及其数据集
• 4.2.3 样本预处理和BP 网络的构建
• 4.2.4 PCA-BP 降雨预报模型的训练效果和预测效果
• 第5章 基于灰色VERHULST-BP 网络模型的人口数量预测
• 5.1 人口数量预测概述
• 5.1.1 人口数量预测的意义
• 5.1.2 人口数量预测研究的回顾
• 5.2 灰色模型理论
• 5.2.1 GM（1,1）模型
• 5.2.2 灰色Verhulst 模型
• 5.3 GV-BP 模型的提出和建立
• 5.3.1 灰色Verhulst 模型的改进和不足分析
• 5.3.2 GV-BP 模型的建模思想
• 5.3.3 GV-BP 模型的建模步骤
• 5.4 GV-BP 模型的人口数量预测比较实验
• 5.4.1 人口数量预测的目标和数据
• 5.4.2 跟传统时间序列预测法的人口数量预测比较实验
• 5.4.3 三种灰色人口模型的比较实验
• 第6章 总结和展望
• 6.1 课题研究内容及创新点
• 6.2 课题研究展望
• 参考文献
• 攻读硕士学位期间发表的学术论著目录和参与的项目
• 致谢