延迟反馈神经网络和两层反馈神经网络的研究

论文摘要

反馈神经网络是神经网络中最重要的类型之一,这种网络的突出特点就是它具有联想记忆的功能。反馈神经网络最重要的范例就是Hopfield网络,它已经被人们广泛地研究过,然而Hopfield网络和它的许多变种都存在着一些严重的缺陷,比如伪吸引子问题和低存储率问题。这些缺陷严重地限制了它们的实际应用能力。另外,Hopfield网络是典型的非线性动力系统,在近十几年来非线性动力学的发展中,人们认识到到了非线性动力系统不仅可能存在不动点解,而且也可能存在大量的极限环或周期运动解。目前,绝大部分反馈神经网络都是利用系统的不动点作为信息存储的载体,但这种方式没有利用非线性动力系统大量存在的周期解,从某种意义上说是一种巨大的浪费。最近,赵鸿教授提出了一套关于联想记忆反馈神经网络的整体学习规则(蒙特卡罗优化变异规则)[Phys.Rev.E.70,066137(2004)]。这种学习规则的基本思想就是:通过不断地优化变异随机选择的连接权矩阵元,从而使网络在给定的训练目标下达到整体最优。采用这种学习规则训练的反馈网络有许多非常有趣的动力学性质。特别是,用这种学习规则训练的反馈网络存在三个动力学性质非常不同的相区:混沌区、纯记忆区和混合区。在纯记忆区,伪吸引子被完全消除,因此它非常适合于联想记忆的应用。本论文利用这套整体学习规则重点研究两个问题。第一个问题是推广蒙特卡罗优化变异规则的方法,使它能直接应用于延迟反馈神经网络的训练,并详细研究了用这种方法训练出的网络的动力学性能,如伪吸引子和存储率等。第二个问题是推广蒙特卡罗优化变异规则的方法,使它能直接应用于以极限环作为信息存储载体的网络,并研究极限环吸引子网络(包括多层反馈网络和延迟反馈网络)的动力学行为、网络性能,以及与对应的不动点吸引子网络的区别。在本论文的第一部分,我们把蒙特卡罗优化变异规则推广到存储记忆模式为不动点吸引子和极限环吸引子的延迟反馈网络上,然后对这种延迟反馈网络的存储率和动力学性质进行研究。我们的研究表明,采用蒙特卡罗优化变异规则训练的延迟反馈网络,和采用关联学习规则训练的延迟反馈网络一样,最大存储率和延迟的长度成线性增长关系,但前者的数值远远高于后者;另外,蒙特卡罗优化变异规则训练的延迟反馈网络的推广能力也比关联学习规则训练的延迟反馈网络要好;还有一个有趣的发现就是,在蒙特卡罗优化变异规则训练的延迟反馈网络中,如果记忆极限环的长度足够大,伪吸引子会完全消失,网络不存在混合区。作为应用例子,我们演示了用延迟反馈网络存储具有交叉点的多个极限环,从一小串数字中联想起整个数字序列。在本论文的第二部分,我们采用多层的蒙特卡罗优化变异规则构造了一个两层的反馈神经网络,并对它的动力学性质进行了研究。该网络可以把记忆模式存储成不动点吸引子或者极限环吸引子,我们对极限环吸引子网络和不动点吸引子网络的动力学性质进行了比较,并发现前者的存储质量要比后者好,特别是,当记忆模式存储成长的极限环时,伪吸引子完全消失。本部分我们还将演示极限环吸引子网络的一个可行的应用,给定一个图形片段,联想出整个图形。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 绪论
• 1.1 人脑和神经元
• 1.2 人工神经网络及其发展历史
• 1.2.1 什么是人工神经网络
• 1.2.2 神经网络的历史
• 1.3 本论文的研究工作和内容提要
• 参考文献
• 第二章 神经网络的基础
• 2.1 人工神经元
• 2.1.1 人工神经元的结构
• 2.1.2 传输函数的类型
• 2.1.3 随机神经元
• 2.2 神经网络的结构
• 2.2.1 单层前馈网络
• 2.2.2 多层前馈网络
• 2.2.3 反馈网络
• 2.3 神经网络的学习规则
• 2.3.1 学习规则的类型
• 2.3.2 误差校正学习
• 2.3.3 Hebb学习规则
• 2.4 动力系统基础
• 2.4.1 连续动力系统
• 2.4.2 离散动力系统
• 2.4.3 动力系统的稳定性
• 2.4.4 吸引子
• 2.5 Hopfield网络
• 2.5.1 连续Hopfield网络
• 2.5.2 离散Hopfield网络
• 2.5.3 最大存储率
• 2.5.4 伪吸引子问题
• 2.5.5 Hopfield网络的缺陷
• 2.5.6 仿逆规则
• 2.6 小结
• 参考文献
• 第三章 反馈神经网络的蒙特卡罗优化变异规则
• 3.1 蒙特卡罗优化变异规则
• 3.1.1 基本思想
• 3.1.2 算法实现
• 3.2 动力学性质
• 3.2.1 动力学三相区
• 3.2.2 网络的对称性
• 3.2.3 对吸引域的控制
• 3.3 小结
• 参考文献
• 第四章 延迟反馈神经网络
• 4.1 网络结构和关联学习规则
• 4.1.1 网络结构和关联学习规则
• 4.1.2 动力学性质
• 4.1.3 关联学习规则的缺陷
• 4.2 MCA学习规则训练的延迟反馈网络
• 4.2.1 延迟反馈网络的MCA学习规则
• 4.2.2 最大存储率
• 4.2.3 动力学性质
• 4.2.4 对吸引域的控制
• 4.2.5 伪吸引子的讨论
• 4.3 演示例子
• 4.4 小结
• 参考文献
• 第五章 两层反馈神经网络
• 5.1 网络结构和MCA学习规则
• 5.1.1 网络结构
• 5.1.2 两层反馈网络的MCA学习规则
• 5.1.3 局域场分布
• 5.2 动力学性质
• 5.3 应用例子
• 5.4 小结
• 参考文献
• 第六章 总结与展望
• 6.1 总结
• 6.2 展望
• 博士期间发表文章目录
• 致谢