动态隧道技术在BP网络中的应用与研究

论文摘要

动态隧道算法是一种全局优化研究方法。该算法重复以下两个过程:一是动态优化过程,在该过程中寻找一个局部最小点;二是动态隧道过程,该过程以该局部最小点为基准找到一个更小的能量区间,即提供给动态优化过程一个新的初始点。这两个过程交替进行,直到在动态隧道阶段找不到更小的能量区间。训练神经网络是一个全局优化问题,目的是找到使误差函数最小的权值距阵。BP算法以其良好的非线性映射逼近能力和泛化能力以及易实现性成为人工神经网络应用最广泛的训练算法,但是BP算法也有其明显的缺陷,即训练速度慢、容易陷入局部极值等。因此,利用动态隧道思想来训练神经网络,并且可以有效避免陷入局部极小。多轨道动态隧道算法是在传统动态隧道算法基础上的一种改进。该算法通过增加隧道搜索的方向以及引入弹性系数来增大找到全局最小点的几率。本文将这种多轨道动态隧道思想引入到BP网络的训练中,同时,采用动态修改误差限的方法,提出了一种多轨道动态隧道技术训练BP网络算法(MDTTBP)。并将该算法在XOR、某医药公司物流数据和KDD CUP三个数据集上进行了测试,对传统动态隧道技术训练BP网络算法(DTTBP)、单纯使用多轨道思想的动态隧道技术训练BP网络算法(SMDTTBP)和本文提出的使用多轨道动态隧道思想结合动态修改误差限方法的多轨道动态隧道训练BP网络算法(MDTTBP)的实验结果进行了对比分析,证明提出的算法可以有效地避免陷入局部极小,同时也提高了传统动态隧道技术训练BP网络算法的搜索效率。此外,本文还选用通过商用网络连接起来的PC机,以及并行虚拟机PVM和分布式操作系统LINUX,共同构成了一个机群系统作为并行计算平台。在并行程序的模型上选用了Master/Slave模型,采用了将训练数据平均分配到各节点机的数据并行方式,建立了本算法的并行模型。

论文目录

• 中文摘要
• 英文摘要
• 1 绪论
• 1.1 论文的研究背景及选题意义
• 1.2 国内外现状综述
• 1.3 论文研究的内容及组织
• 2 BP 算法及改进
• 2.1 标准BP 算法
• 2.1.1 BP 算法的思想
• 2.1.2 BP 算法的数学描述
• 2.2 BP 算法的不足
• 2.3 BP 算法的若干改进
• 2.4 本章小结
• 3 动态系统及全局最优化
• 3.1 动态系统
• 3.1.1 动态系统的定义
• 3.1.2 状态空间
• 3.1.3 Lipschitz 条件
• 3.1.4 平衡状态的稳定性
• 3.1.5 Lyapunov 定理
• 3.2 全局优化问题的数学模型及动态优化系统
• 3.2.1 全局优化问题的数学模型
• 3.2.2 全局优化问题中的动态优化系统
• 3.3 动态隧道算法
• 3.4 多轨道动态隧道算法
• 3.4.1 传统动态隧道算法的缺陷
• 3.4.2 改进动态隧道算法的不稳定性
• 3.4.3 多轨道动态隧道算法思想
• 3.5 本章小结
• 4 动态隧道技术训练 BP 网络
• 4.1 训练BP 网络采用的动态系统
• 4.1.1 训练BP 网络采用的动态优化系统
• 4.1.2 常用的动态隧道系统
• 4.1.3 本文训练BP 网络采用的动态隧道系统及积分方法
• 4.2 动态隧道算法训练BP 网络
• 4.3 多轨道动态隧道技术训练BP 网络算法
• 4.3.1 算法描述
• 4.3.2 算法主框图
• 4.3.3 算法讨论
• 4.3.4 算法复杂度
• 4.4 本章小结
• 5 实验结果及数据分析
• 5.1 引言
• 5.2 XOR 数据集
• 5.3 KDD 数据集
• 5.3.1 数据集介绍
• 5.3.2 算法参数设置
• 5.3.3 实验结果
• 5.4 医药公司数据集
• 5.5 本章小结
• 6 动态隧道技术训练 BP 网络的并行化
• 6.1 BP 算法并行策略
• 6.1.1 按层分配神经元
• 6.1.2 横向分配神经元
• 6.1.3 按训练集分配神经元
• 6.2 动态隧道技术训练BP 网络的并行化
• 6.2.1 并行环境
• 6.2.2 并行体系结构
• 6.2.3 并行算法描述
• 6.2.4 数值实验问题描述
• 6.2.5 并行执行时间
• 6.3 本章小结
• 7 论文的总结
• 7.1 论文的主要工作
• 7.2 进一步努力的方向
• 致谢
• 参考文献
• 附录
• 独创性声明
• 学位论文版权使用授权书