几种高阶神经网络的梯度算法收敛性分析

论文摘要

在对神经网络进行训练的过程中,梯度算法被应用得最广泛。本文主要针对Pi-Sigma、递归Pi-Sigma和Ridge Polynomial神经网络这几种不同的高阶神经网络,分析各自算法的收敛性、单调性等理论性问题。第一,对于Pi-Sigma神经网络模型,针对罚函数的缺点,提出了一种基于乘子法的随机单点的在线梯度算法。在此过程中,利用最优化方法,把约束问题转化成为无约束问题,使用乘子罚函数法克服了可能因初始权值选取不当而导致的收敛速度过慢问题。并且从理论上分析证明了本算法的收敛速度——线性收敛,最后的实验结果说明的此算法是有效性的。第二,由于传统的梯度算法收敛速度很慢,所以,文中提出一种将惩罚项加到传统误差函数的梯度算法,以训练递归pi-sigma神经网络,此算法不仅提高了神经网络的泛化能力,且克服了因网络初始权值选取过小而导致的收敛速度过慢的问题,其收敛速度也得到了很大提高。还从理论上证明了本算法的收敛性,最后,实验结果也说明了算法是有效的。第三,文中将梯度算法用来训练Ridge Polynomial神经网络,对误差函数和权值变化进行分析证明,并且提出了本算法的单调性定理、收敛性定理（包括强收敛性和弱收敛性）。最后,仿真实验结果对结论进行了验证。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 人工神经网络的简介
• 1.1.1 关于人工神经网络的概念
• 1.1.2 人工神经网络的发展
• 1.1.3 人工神经元及网络的拓扑结构
• 1.1.4 人工神经网络的研究方向
• 1.2 人工神经网络的学习算法
• 1.2.1 人工神经网络学习算法分类
• 1.2.2 梯度算法
• 1.3 高阶神经网络
• 1.3.1 High-Order神经网络
• 1.3.2 Pi-Sigma神经网络
• 1.3.3 以Pi-Sigma神经网络为模板的各种高阶神经网络
• 1.4 研究意义
• 1.5 本文的主要工作
• 第二章 PI-SIGMA神经网络的基于乘子法随机单点在线梯度算法
• 2.1 背景介绍
• 2.2 Pi-Sigma神经网络的乘子法随机单点在线梯度算法
• 2.2.1 随机单点在线梯度算法
• 2.2.2 基于乘子法的随机单点在线梯度算法
• 2.3 收敛速度分析
• 2.4 仿真实验及结果分析
• 2.5 本章小结
• 第三章 递归PI-SIGMA神经网络的带惩罚项的梯度算法分析
• 3.1 背景介绍
• 3.2 递归Pi-Sigma神经网络的带惩罚项的梯度算法
• 3.2.1 递归Pi-Sigma神经网络
• 3.2.2 带惩罚项的梯度算法
• 3.3 带惩罚项的梯度算法收敛性分析
• 3.4 仿真实验结果与分析
• 3.5 本章小结
• 第四章 RIDGE POLYNOMIAL神经网络的梯度算法收敛性
• 4.1 背景介绍
• 4.2 Ridge Polynomial神经网络的梯度算法
• 4.2.1 Pi-Sigma神经网络
• 4.2.2 Ridge Polynomial神经网络的梯度算法
• 4.3 主要的收敛性定理
• 4.4 定理及相关引理的证明
• 4.5 实验结果与分析
• 4.6 本章总结
• 第五章 总结与展望
• 5.1 本文的主要工作总结
• 5.2 将来的工作展望
• 参考文献
• 致谢
• 攻读硕士学位期间发表论文及参与科研项目情况