BP神经网络中一种逃离局部极小点的方法研究

论文摘要

BP（Back-Propagation）算法是现在用得最多的一种神经网络学习算法,由于它是基于最速下降方法,它有收敛速度慢、容易陷入局部极小点等缺点,这限制了它的应用范围。本文从标准BP算法容易陷入局部极小点这个问题着手,分析其容易陷入局部极小点的原因,即网络神经元的转换函数Sigmoid函数存在一个饱和区域,在此区域中网络节点的输入变化大但是其输出变化极小,甚至变化可以忽略不计,由此产生了网络的输出对输入的敏感性极小,网络的输出和输入不协调,网络陷入局部极小点。所以本文提出了一种改进价值函数,使价值函数不仅与输出层的输出有关还与隐藏层的输出有关,从而加大网络对输入的敏感性,使网络的输出和输入之间尽可能协调,使其能快速逃离局部极小点,收敛到全局最小点。然后根掘价值函数的性能曲面,对改进的BP算法的各参数（因子）在几种特殊情况下进行了讨论,并给出了迭代过程中最优参数的计算方法。在文章的最后对扩展的异或问题进行了仿真实验,用改进BP算法和标准带动量因子的BP算法与模拟退火算法进行了对比,对比结果表明:标准的BP算法只能确保收敛到极小点,但不能确定是局部极小点还是全局极小点,改进的BP算法能确保收敛到全局极小点;改进的BP算法比模拟退火算法的收敛速度快很多。因此,这种改进的方法能加快收敛速度并收敛到全局极小点,达到了期望的效果。

论文目录

• 摘要
• Abstract
• 第1章 绪言
• 1.1 人工神经网络的历史、特点及现状
• 1.1.1 人工神经网络的历史
• 1.1.2 人工神经网络的特点
• 1.1.3 人工神经网络研究的现状
• 1.2 BP神经网络研究的内容及其应用
• 1.3 BP神经网络在国内外研究现状及本文的研究内容
• 第2章 人工神经网络模型介绍
• 2.1 生物神经元模型
• 2.2 人工神经元模型
• 2.3 几种典型的神经网络结构
• 2.3.1 感知器模型
• 2.3.2 BP神经网络
• 2.3.3 径向基函数网络
• 2.3.4 自组织人工神经网络
• 2.3.5 反馈神经网络
• 2.3.6 模糊神经网络
• 第3章 BP神经网络原理
• 3.1 BP神经网络的拓扑结构
• 3.2 BP算法的基本原理
• 3.2.1 神经网络的基本组成单元
• 3.2.2 神经网络的学习规则
• 3.2.3 BP神经网络的基本原理
• 3.3 BP神经网络的性能曲面和最优点
• 3.3.1 BP神经网络的性能曲面
• 3.3.2 BP神经网络的最优解
• 3.4 BP神经网络的结构的选择
• 3.4.1 隐藏层数的选择
• 3.4.2 隐藏层节点数的选择
• 3.5BP 神经网络样本数据的预处理
• 3.5.1 样本集的选取
• 3.5.2 样本数据的归一化
• 3.6 BP神经网络的训练
• 3.7 BP神经网络的优缺点
• 第4章 改进BP神经网络
• 4.1 饱和现象
• 4.2 价值函数的改进
• 4.3 改进的BP算法
• 4.3.1 改进BP算法的学习法则
• 4.3.2 改进BP算法的权值凋整的求解
• 4.3.3 迭代过程中最优参数的选择
• 第5章 实验结果及其对比分析
• 5.1 仿真实验
• 5.2 实验结果对比分析
• 5.2.1 改进BP算法和标准BP算法对比结果分析
• 5.2.2 改进BP算法和模拟退火算法对比结果分析
• 第6章 总结与展望
• 6.1 总结
• 6.2 展望
• 致谢
• 参考文献
• 附录