神经元传输函数和网络噪音对联想记忆反馈网络动力学特性的影响

论文摘要

反馈神经网络的突出特点是具有联想记忆功能，易于硬件实现，因此在诸多领域得到非常广泛的应用。同时，反馈神经网络作为一类典型的高维非线性动力学系统，引起了非线性动力学领域的科研工作者的高度关注。一方面，我们可以应用非线性动力学近年来的研究成果理解网络的特性、提高网络的功能，另一方面，反馈网络本身具有丰富的动力学特性和现象，因而为这一领域提供了一个研究高维动力学系统复杂行为的典型模型。本学位论文从反馈神经网络的吸引子所对应的局域场分布入手来研究网络结构与网络性能之间的关联性，表明网络的特性主要决定于记忆模式吸引子的局域场分布，同时也会受到神经元传输函数的影响，而传输函数的影响效果又和局域场分布密切相关。本文重点研究两种反馈网络，一类是基于Hebb规则设计的Hopfield神经网络，另一类是基于最近提出的一套设计神经网络的整体规则[Zhao，Phys.Rev.E，70，066137(2004)]。两种网络中，记忆模式吸引子的局域场和伪记忆模式吸引子的局域场分布在不同的区域，但重叠程度各不相同，根据这一现象，提出了传输函数以及随机噪音影响网络性能的机制。研究结果表明，连续传输函数的应用的确如以前的研究者发现的那样可以在一定程度上消除网络的伪吸引子，但是消除并不彻底；消除伪吸引子的根本方法还在于利用整体设计方法控制记忆模式吸引子对应的局域场的分布，只要分布合适，伪吸引子就可以完全不出现。一般认为连续传输函数中增益因子的作用和温度，也就是和网络中的随机噪音具有一定的相似性，有些研究者虽然也指出了两者的不同，但是详细的分析和机制并未搞清楚。本论文的另一个重点是详细分析增益因子和噪音起作用的方式，搞清楚了它们的相同和不同之处，并因此指出如何更好地利用噪音改善网络的性能。同时，为了深入理解网络结构与网络性能的联系，本文也研究了网络权值矩阵本征值谱在特定的设计规则下随设计参数的变化情况，比较了本征值谱与随机矩阵本征值谱的偏离。本文各章安排如下：第一章简要介绍了神经网络的研究背景，包括神经网络的起源、发展、类型，以及对神经网络理论研究作出显著贡献的一些物理学家的工作，如Gardner，Little等人的工作做了简要介绍。第二章详细介绍了两种具有联想记忆的反馈神经网络，一种是著名的Hopfield网络，另外一种是最近由赵鸿教授提出的整体优化网络，介绍了两种方法的具体实现算法以及这两种网络的一些主要特性和动力学行为。第三章研究连续传输函数对联想记忆反馈神经网络功能的影响。给出了不同规则设计下记忆模式吸引子和伪吸引子对应的局域场分布，提出局域场分布特征决定神经元传输函数的作用，给出传输函数影响网络性能和动力学行为的机制。第四章研究噪音对联想记忆神经网络功能的影响。在神经网络动力学演化方程中加入噪音来考察网络的动力学特性以及功能的改善，说明噪音的作用取决于两种吸引子也就是记忆模式吸引子和伪吸引子对应的局域场分布，同时给出如何利用噪音提高和改善网络的性能。第五章研究神经网络中的本征值谱。由于加入设计信息，使得网络的权值矩阵对随机矩阵有偏离，因此其本征值谱也表现出一些有趣的行为。这一章初探性的研究试图将随机矩阵理论与神经网络研究在一定的程度上结合起来，研究本征值谱对随机矩阵本征值谱的偏离，能帮助更深入理解神经网络中复杂的动力学特性。

论文目录

• 摘要
• Abstract
• 第一章 人工神经网络概述
• §1.1 人工神经网络背景
• §1.2 生物神经网络
• §1.3 神经网络发展历史
• §1.4 神经网络类型
• §1.5 从物理学角度看神经网络的研究
• §1.6 本论文的研究目标和各章节安排
• 参考文献
• 第二章 联想记忆神经网络的两种设计方法
• §2.1 联想记忆神经网络简介
• §2.2 Hopfield神经网络
• §2.3 整体优化网络
• §2.3.1 整体优化网络设计思想
• §2.3.2 MCA学习规则
• §2.3.3 整体优化网络的动力学特性
• §2.4 小结
• 参考文献
• 第三章 传输函数对联想记忆网络的影响
• §3.1 引言
• §3.2 常见的传输函数
• §3.3 连续神经网络
• §3.4 联想记忆网络局域场分布与网络性能的关联
• §3.4.1 Hopfield网络局域场分布
• §3.4.2 Hopfield网络临界存储率
• §3.4.3 整体优化网络局域场分布
• §3.5 连续传输函数对网络性能的影响
• §3.5.1 连续传输函数对Hopfield网络的影响
• §3.5.2 连续传输函数对整体优化网络的影响
• §3.6 局域场分布分析方法的进一步讨论
• §3.7 总结与讨论
• 参考文献
• 第四章 噪音对联想记忆网络的影响
• §4.1 引言
• §4.2 神经网络和伊辛模型
• §4.3 神经网络中的噪音
• §4.4 对两种联想记忆网络的噪音研究
• §4.4.1 S∑变换
• §4.4.2 从噪音角度看Hopfield神经网络中β的作用
• §4.4.3 噪音对Hopfield神经网络的影响
• §4.4.4 噪音对整体优化网络的影响
• §4.5 小结
• 参考文献
• 第五章 本征值谱研究
• §5.1 引言
• §5.2 RMT理论简介
• §5.2.1 高斯系综分类
• §5.2.2 Wigner半圆律
• §5.2.3 高斯分布与统计物理
• §5.3 神经网络本征值谱
• §5.4 小结
• 参考文献
• 第六章 总结与展望
• §6.1 本论文所获得的一些结果
• §6.2 我们工作的创新之处
• §6.3 展望
• 参考文献
• 作博士论文期间的主要成果
• 致谢