BP神经网络学习问题的分析研究

论文摘要

机器学习的任务是设计某种方法和模型,通过对已知数据的学习,找到数据间内在的相互依赖关系,从而对未知数据进行预测和判断。人工神经网络是重要的机器学习方法之一,其中BP神经网络是应用最广泛的神经网络模型之一,本文以BP神经网络为研究对象,提出了一种新的学习率自适应算法,并且对其学习问题进行分析研究,把神经网络的目标函数作为研究重点。BP算法实质上是通过梯度下降法反复迭代得到神经网络权值的最终解,而神经网络权值的解存在某一解的区域,如果训练样本的误差很大,说明神经网络权值的最终解通过梯度下降法的迭代并没有达到解的区域,此时出现欠学习现象;如果训练样本的误差很小,神经网络权值的解到达了解区,但是处于解区中央部分的权向量更可靠些,否则会出现过学习现象。神经网络的学习能力与推广能力之间有很大的关系,神经网络模型的复杂度对神经网络学习能力的影响可以从偏差与方置的观点进行解释,而BP神经网络权值解的过程即神经网络的学习过程还与权值的初始值、样本质量、样本数量、误差函数、学习步长这些因素有关,对于影响学习能力各个因素耦合关系的定量描述,国内外还尚未出现,本文提出的观点是从神经网络解的轨迹出发,得到影响神经网络学习能力的各个因素关系式,进而得到欠学习与过学习的定量描述,才能根本上解决欠学习与过学习问题。BP神经网络的学习通常以均方误差（MSE）函数为目标函数,它的应用条件之一为目标变量被限定服从高斯分布,否则其结果可能偏离真正最优。零误差密度最大（Z-EDM）算法利用非参数估计中的Parzen窗法得到误差在零点的概率密度函数（Z-ED）,作为BP网络的目标函数。本文通过研究分析可知此目标函数通过整定参数h,适用于目标变量服从任何分布,是能够模拟均方误差函数及交叉熵函数性能的原因,更适合作为BP网络的目标函数,仿真结果验证了这个结论。同时本文通过分析指出参数h的确定方向为通过调整参数h,零误差函数准则能够准确描述样本误差的概率密度函数。均方误差函数中每个样本误差所占的比重是相同的,过于重视误差较大的点,抗干扰能力弱,鲁棒性差。本文提出一种新的目标函数准则一概率密度加权型均方误差函数准则,通过证明可知权值函数是关于样本误差之间距离的单调减函数,因此每个样本误差的比重是不一样的,当样本数据中存在噪声样本时,其误差与其他样本误差之间的距离比较大,因此在目标函数中的比重比较小,通过参数h的调整,可以使其对神经网络的权值调整不起作用,提高了神经网络的抗干扰能力。最后,仿真结果表明了加权型均方误差函数抗干扰能力强的优点。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 绪论
• 1.1 课题研究的背景
• 1.1.1 机器学习的内容和发展
• 1.1.2 学习机器与神经网络
• 1.2 本文的研究内容和意义
• 1.3 论文结构安排
• 第二章 人工神经网络
• 2.1 人工神经网络简介
• 2.1.1 人工神经元模型
• 2.1.2 神经网络的拓扑结构及工作方式
• 2.1.3 神经网络学习方式
• 2.1.4 神经网络学习算法
• 2.2 BP神经网络
• 2.2.1 误差反向传播（BP）算法
• 2.2.2 BP算法的局限及改进
• 2.3 BP神经网络的学习率
• 2.3.1 梯度下降法
• 2.3.2 自适应学习率算法
• 2.3.3 仿真分析
• 2.4 本章小结
• 第三章 神经网络的学习理论
• 3.1 方差与偏置的折衷
• 3.2 权空间与权向量解
• 3.3 欠学习与过学习分析
• 3.4 本章小结
• 第四章 误差函数
• 4.1 均方误差函数准则
• 4.2 Minkowski误差函数
• 4.3 交叉熵函数
• 4.4 非参数密度估计
• 4.4.1 基本方法
• 4.4.2 Parzen窗法
• 4.5 误差熵函数准则
• 4.5.1 误差的二次Renyi熵函数
• 4.5.2 全局最优值
• 4.5.3 Csiszar距离
• 4.5.4 窗宽σ
• 4.5.5 误差熵最小算法用于分类
• 4.6 零误差密度函数准则
• 4.6.1 零误差密度最大算法
• 4.6.2 梯度分析
• 4.6.3 仿真分析
• 4.7 本章小结
• 第五章 概率密度加权型均方误差函数准则
• 5.1 最小二乘算法
• 5.1.1 参数的最小二乘估计
• 5.1.2 最小二乘估计的性质
• 5.2 加权最小二乘算法
• 5.2.1 异方差性
• 5.2.2 加权最小二乘估计
• 5.3 概率密度加权型均方误差函数
• 5.4 权值函数的单调性
• 5.5 异方差性与抗干扰性
• 5.6 仿真分析
• 5.7 本章小结
• 第六章 总结与展望
• 参考文献
• 致谢
• 个人简历
• 攻读硕士学位期间发表的论文