神经网络逆向迭代算法的收敛性

论文摘要

作为一种简单有效的学习算法，梯度法己广泛应用于训练神经网络。前馈神经网络中梯度学习算法的收敛性已经有了详细的讨论。本文研究神经网络逆向迭代算法，并对该算法的以下方面进行了较系统的分析和研究：1．对人工神经网络的研究现状，发展趋势及应用领域进行了综述，阐述了人工神经网络，反问题及神经网络逆向迭代算法的基本概念，基本结构及相应的算法；2．由于神经网络逆向迭代算法有非常好的信息处理能力，它已经广泛应用于解决自适应控制问题。本文研究的是神经网络逆向迭代算法的离线方式的收敛性质。针对网络结构为两层和三层的情形，本文给出了神经网络中逆向迭代算法的确定性收敛结果：在迭代过程中，误差函数是单调递减的，且误差函数的梯度趋于零，即弱收敛。3．利用神经网络逆向迭代算法对非线性方程进行求解。数值试验结果表明：误差函数有限步单调趋于零，并且该算法具有正则性的优点。这说明该算法便于实际应用。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 人工神经网络
• 1.1.1 神经网络的特性
• 1.1.2 神经网络的设计
• 1.1.3 神经网络的工作方式
• 1.1.4 神经网络的应用
• 1.2 反问题简介
• 1.2.1 反问题的兴起
• 1.2.2 反问题的常见类型
• 1.2.3 反问题研究的发展
• 1.3 神经网络逆向迭代算法
• 1.3.1 神经网络逆向迭代算法的概况和发展
• 1.3.2 神经网络逆向迭代算法的定义
• 1.4 本文的主要工作
• 2 收敛性证明
• 2.1 两层的情况
• 2.1.1 引言
• 2.1.2 主要引理和收敛定理
• 2.2 三层的收敛性证明
• 2.2.1 引言
• 2.2.2 主要引理和收敛性定理
• 3 数值实验及结果
• 结论
• 参考文献
• 攻读硕士学位期间发表学术论文情况
• 致谢