带惩罚项的BP神经网络训练算法的收敛性

论文摘要

前馈神经网络在许多领域有着广泛的应用。网络的泛化能力，即网络正确预测训练集之外样本的能力，是衡量神经网络性能的一个重要指标。研究表明，满足训练样本集上逼近精度的规模最小的网络具有较好的泛化能力[1-7]。 网络修剪是得到上述小网络的有效途径之一，它包括直接修剪法和惩罚项法。直接修剪法是指从一个很大的足够解决当前问题的网络开始，在训练结束后通过选择或有序的方式删除一些不重要或敏感度较小的连接权和神经元节点[3，8，9]。不过，该方法破坏了网络结构，往往使得网络训练需要很长的时间。惩罚项方法是一种间接修剪网络的办法，其原理是在传统的误差函数中加入一衡量网络结构复杂程度的“复杂度项”。应用到权值更新规则后，该项在训练过程中起到防止权值增长太大和驱使不重要权值逐渐减小到零的作用。尽管那些接近零的连接权没有从网络中被删除。但它们对网络输出几乎没有影响，已相当于从网络中被删除了。这样一来，训练后的神经网络实际上已是被修剪过的小网络了。可见，惩罚项法在没有破坏网络结构的同时又达到网络修剪的目的，从而是提高神经网络泛化能力的一个重要方法。 已有许多文献研究了多种不同形式的惩罚项[1-3，6，10-13]，但他们中的大多数是在实验的基础上对惩罚项的性能进行研究的，并没有在数学上给出理论证明。本文从理论上分析了惩罚项对权值的压制作用，从而为以上实验观察结果提供了理论依据。反向传播算法（BP算法）是一种简单又常用的神经网络训练算法，它有批处理和在线两种运行模式。本文主要研究在批处理和在线两种运行模式下，带weigh-decay和inner-product惩罚项的BP算法的收敛性以及引入惩罚项后网络权值的一致有界性。本论文的结构安排如下： 第一章回顾一些有关神经网络的背景知识，第二章介绍几种常见的惩罚项，包括weight-decay惩罚项、weight-elimination惩罚项和inner-product惩罚项等。 第三章主要讨论带weigh-decay惩罚项的批处理BP算法和改进的批处理BP算法的收敛性。对于前者，我们给出惩罚项系数和学习率之间的一个确定的数学表达式，并证明在此条件下误差函数的单调下降、训练算法的收敛和训练过程中权值的一致有界。对于改进后的BP算法，我们不仅证明了一种变学习率的BP算法的收敛性，还考虑了带动量项的BP算法的收敛性问题。 第四章研究带weigh-decay惩罚项的在线BP算法的收敛性。在线学习方式下，训练样本在一个训练回合中呈现给网络的方式分为固定顺序和随机顺序两种。这一章我们证明在线运行方式下，当训练样本以固定顺序呈现给神经网络时带weigh-decay惩罚项的在线BP算法的收敛性。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 神经网络概述
• 1.1.1 神经网络的特征与工作原理
• 1.1.2 神经网络的拓扑结构
• 1.1.3 神经网络的学习
• 1.1.4 神经网络的几个研究课题
• 1.2 提高神经网络泛化能力的方法
• 1.2.1 网络结构优化算法
• 1.2.2 训练的早期停止法
• 1.3 前馈神经网络
• 1.3.1 感知器网络结构及工作原理
• 1.3.2 BP算法的批处理和在线运行
• 1.4 本文的主要工作
• 2 惩罚项简介
• 2.1 Weight-decay简介
• 2.2 Weight-elimination简介
• 2.3 Combination of Weight-decay and Weight-elimination简介
• 2.4 Structural Learning with Forgetting简介
• 2.5 Inner-product简介
• 3 批处理BP算法的收敛性
• 3.1 带weight-decay惩罚项的批处理BP算法及收敛结果
• 3.1.1 带weight-decay惩罚项的批处理BP算法
• 3.1.2 重要定理及证明
• 3.1.3 数值试验结果
• 3.2 改进的BP算法及收敛性
• 3.2.1 变学习率的BP算法及收敛性
• 3.2.2 带动量项的BP算法及收敛性
• 4 带Weight-decay惩罚项的在线BP算法的收敛性
• 4.1 带weight-decay惩罚项的在线BP算法
• 4.2 假设条件与重要引理
• 4.3 重要定理及证明
• 4.4 数值试验结果
• 5 带Inner-product惩罚项的随机在线梯度算法的收敛性
• 5.1 带inner-product惩罚项的在线梯度算法
• 5.2 预备引理
• 5.3 重要定理及证明
• 6 从弱收敛到强收敛
• 6.1 预备引理和强收敛分析
• 6.2 收敛定理和简要证明
• 结论与展望
• 参考文献
• 攻读博士学位期间学术论文完成情况
• 论文创新点摘要
• 致谢