求对称矩阵特征值的神经网络方法

论文摘要

近年来,以Hopfield神经网络、细胞神经网络为代表的递归神经网络（Recurrent Neural Networks-RNNs）的理论与应用研究成为新的热点。其典型特征是大量神经单元通过局部互连组成高度非线性动力系统,每个神经元可由线性和非线性模拟电路实现。RNNs非常适合于VLSI（Very Large-scale Integration）的硬件实现,消除了离散实现系统中的时间延迟以及同步问题,更适合进行大规模的并行计算。因此,现代科学与工程计算学者积极寻求以RNNs为特征的快速、高效、鲁棒算法,并且取得了大量研究成果。这方面研究不仅包括各种最优化问题的求解,也包括数值计算经典问题的求解。矩阵特征值的计算至今依然表现出旺盛的生命力,在数据压缩、信号处理、模式识别等诸多领域有着广泛的应用。本论文主要研究求解对称矩阵特征值以及广义特征值问题的递归神经网络方法,另外还研究了Madaline Ⅰ型前馈网络的收敛性。具体地,本论文主要包括以下内容: 1.第二章主要研究对称矩阵的特征值计算问题,提出了基于B-范数不变的RNNs模型,得到了其收敛于最大特征值的充分性条件。对该对称矩阵添加负号,得到了计算最小特征值的RNNs模型。基于最大和最小特征值的计算结果,设计了计算全部特征值的方案,给出了相应的数值实验结果。应用随机逼近理论,讨论了自适应求解随机信号的最大主元和最小主元的学习算法。 2.第三章主要研究对称正定对的广义特征值问题Ax=λBx的计算,提出了两个求解最大以及最小广义特征值的RNNs模型,在A对称,B对称正定的假设条件下分别给出了收敛性结果,简单的分析了该模型在线性判别分析（Linear Discriminant Analysis-LDA）中的应用。 3.第四章研究了Madaline Ⅰ型前馈网络的收敛性,证明了当训练样本线性可分时,Madaline Ⅰ型前馈网络学习算法有限次收敛。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 神经网络概述
• 1.2 神经元数学模型
• 1.3 神经网络拓扑结构
• 1.3.1 前馈神经网络
• 1.3.2 递归神经网络
• 1.4 特征值计算神经网络
• 1.4.1 谱分解-对称矩阵特征值问题
• 1.4.2 对称正定对的广义特征值问题
• 1.4.3 信号与图像处理中的特征值计算神经网络
• 1.5 本文的主要工作
• 第二章 特征值计算的神经网络模型及其收敛性
• 2.1 PCA理论与原理
• 2.2 计算最大特征值的Oja神经网络模型
• 2.3 计算最大特征值的RNNs模型及其收敛性
• 2.3.1 Oja模型计算对称正定矩阵最大特征值的收敛性分析
• 2.3.2 计算一般对称矩阵最大特征值的RNNs模型
• 2.3.3 收敛性分析
• 2.3.4 对称矩阵全部特征值的计算
• 2.3.5 数值实验
• 2.4 在PCA中和计算最大主元的应用
• 第三章 计算广义特征值的RNNs模型及其收敛性分析
• 3.1 RNNs模型Ⅰ及其收敛结果
• 3.1.1 RNNs模型
• 3.1.2 收敛性分析
• 3.1.3 数值试验结果
• 3.2 RNNs模型Ⅱ及其收敛性
• 3.2.1 RNNs模型
• 3.2.2 RNNs模型Ⅱ的收敛性
• 3.2.3 广义特征值计算的在线学习规则
• 3.2.4 数值实验结果
• 第四章 Madaline前馈神经网络的收敛性
• 4.1 线性可分性理论
• 4.2 线性可分的性质
• 4.3 Madaline神经网络
• 4.4 MRI网络对线性可分样本的有限次收敛性
• 结论与展望
• 参考文献
• 附录A：求解所有特征值的Matlab代码
• 攻读博士学位期间学术论文完成情况
• 论文创新点摘要
• 致谢
• 大连理工大学学位论文版权使用授权书