神经网络中的若干问题研究

论文摘要

上世纪八十年代初，由于美国著名生物物理学家J.J.Hopfield教授的杰出工作，人工神经网络研究获得了复苏并很快推向高潮。此后，人工神经网络一直是科学和工程上的一个研究热点。20多年来，人工神经网络研究取得了丰硕的成果，其应用已经深入到经济、军事、工程、医学、保险、娱乐、以及科学的许多领域。由于人工神经网络固有的模拟大脑智能的属性以及强大的计算能力，人工神经网络研究深深地吸引了国际上许多优秀的科学家和一流的学术研究机构。在Harvard大学，MIT，Boston大学等都有科学家从事神经网络方面的研究。另一方面，人工神经网络的研究成果不断在许多国际一流学术刊物，如《Science》，《Nature》，《IEEE Trans.Neural Networks》等上发表。所有这些均表明了人工神经网络具有十分重要的科学地位。本论文研究人工神经网络中十分重要和具有广泛应用的三个方面的问题：1．主分量分析(PCA)神经网络学习算法；2．支持向量机(SVM)；3．一类回复式神经网络的输出收敛性。全文共分三个部分。第一部分研究PCA神经网络学习算法。PCA是一种统计学习方法，在信号处理，模式识别，数字图像处理等领域具有非常广泛的应用。传统的数学方法如QR分解和SVD应用于PCA时遇到的主要困难在于需要大量的计算而且不能用于在线计算。PCA神经网络方法克服了传统方法所具有的缺点，特别适合于在线计算，从而具有广泛的应用领域。PCA神经网络学习算法是PCA神经网络最重要的组成部分。迄今，科学工作们已提出了多种PCA神经网络学习算法，其中Oja的PCA学习算法，Xu的LMSER PCA学习算法，推广的Hebbian PCA学习算法(GHA)等尤其影响深远。在PCA神经网络学习算法中，收敛性是算法的最重要的性质之一，它决定了算法能否真正在实际中获得应用。较长时间来，确定性连续时间方法(DCT)一直是分析PCA神经网络学习算法的重要工具。近些年的研究表明，DCT方法获得的结果是不适用的。最近提出的确定性离散时间方法，即DDT方法，被认为是一种分析PCA神经网络学习算法的更有效但也是更难的方法。本部分采用DDT方法对PCA神经网络学习算法的收敛性进行深入研究。主要研究内容有：(1)应用确定性离散时间(DDT)方法，分析了Xu的LMSER PCA学习算法的收敛性。建立了该算法的一个不变集和最终界，并严格证明了其局部收敛性。(2)提出了一种自适应的学习速率，保证了Oja的PCA学习算法的全局收敛性，加速了算法的学习过程。并应用DDT方法严格证明了其全局收敛性。(3)GHA算法是被广泛使用的计算多个主分量方向的算法。然而，离散的GHA算法的收敛性分析是比较困难的。通过用DDT方法，严格证明了GHA在自适应性学习速率下的离散算法的全局收敛性。(4)通过自适应性地逼近数据集的实质维，提出了一种改进的GHA算法。原有的GHA算法必须事先确定要计算的主分量方向的数量，这在实际中是不现实的，对于在线计算尤其如此。使用改进的算法，主分量方向数量能根据要求的精度自适应的收敛到数据集的实质维。因此，这个算法特别适合于在线计算。(5)分析了PCA，MCA算法的混沌现象，获得了产生混沌的条件。(6)应用PCA神经网络于医学图像配准。提出了通过简单地对齐图像的第一主分量方向和质心来实现图像快速配准的方法。第二部分研究支持向量机(SVM)所面临的大数据样本问题和对噪声的敏感性问题。SVM在解决小样本，非线性及高维模式识别问题中表现出许多特有的优势。因而，SVM获得了广泛的应用。然而在处理大数据样本的时候，因为计算的复杂性，不但传统的优化方法不能使用，而且SVM学习过程非常缓慢。本部分提出两种方法来解决这个问题。一是改进了序列最小优化(SMO)分解算法，简化了其最小化过程，并分析了其收敛性。二是提出了用脉冲耦合神经网络(PCNN)研究SVM的新方法。通过PCNN来选择一个几乎包括所有支持向量的样本子集作为候选的支持向量子集，把原始问题转化成一个小的优化问题，从而减少计算量，加快了SVM的学习过程。更重要的是，这种方法没有损失原有SVM的泛化能力。另外，SVM对噪声非常敏感，有噪声的输入样本会使决策面严重偏离最优超平面。模糊SVM(FSVM)被提出来解决这个问题。在这一部分，对FSVM提出了一个新的从属关系计算函数，可以计算样本在输入空间或者特征空间中对决策面的贡献。进而，提高SVM的抗干扰能力，有效地改进SVM的分类准确性。第三部分研究一类回复式神经网络(RNN)的输出收敛性问题。因为RNN具有反馈的拓扑结构和时间性的行为特征，较前馈神经网络有更强的逼近，自适应能力。也因为RNN重要的理论意义和实际的工程价值，已经得到了许多的研究。一个结构简单，有清楚的动力学行为的网络能更好的应用于实际工程中。这一部分，分析了一类具有时变输入的变时滞回复式神经网络的输出收敛性。获得了这种回复式神经网络的全局输出收敛条件，并详细证明了其全局输出收敛性。

论文目录

• 摘要
• Abstract
• 第一部分 PCA神经网络学习算法研究
• 第一章 概述
• 1.1 引言
• 1.2 主分量分析（PCA）
• 1.3 PCA神经网络
• 1.3.1 PCA神经网络学习算法的收敛性研究方法
• 1.3.2 PCA神经网络在线仿真数据集
• 1.4 本部分研究内容
• 1.5 小结
• 第二章 常数学习速率的LMSERPCA学习算法
• 2.1 引言
• 2.2 LMSER PCA算法的收敛性分析
• 2.2.1 分析准备
• 2.2.2 算法的不变集与最终界
• 2.2.3 算法的局部收敛性
• 2.3 结果仿真与讨论
• 2.3.1 LMSER PCA算法的收敛性
• 2.3.2 LMSER PCA算法与Oja PCA算法的比较
• 2.4 DDT方法的推广
• 2.4.1 Oja+MCA算法的收敛性分析
• 2.4.2 Chauvin PCA算法的收敛性分析
• 2.5 小结
• 第三章 自适应学习速率的Oja PCA学习算法
• 3.1 引言
• 3.1.1 自适应学习速率
• 3.1.2 DDT算法
• 3.2 收敛性分析
• 3.2.1 算法的有界性
• 3.2.2 算法的全局收敛性
• 3.3 结果仿真
• 3.3.1 离线情形仿真
• 3.3.2 在线情形仿真
• 3.4 自适应学习速率的推广
• 3.4.1 自适应学习速率的Oja+MCA算法
• 3.4.2 一种改进的PCA学习算法
• 3.5 小结
• 第四章 GHA学习算法研究
• 4.1 引言
• 4.2 GHA学习算法的收敛性问题
• 4.2.1 全局收敛性证明
• 4.2.2 结果仿真
• 4.3 确定GHA算法中的主分量方向数量
• 4.3.1 数据集的实质维
• 4.3.2 改进的GHA PCA模型
• 4.3.3 算法实现
• 4.3.4 算法属性分析
• 4.3.5 结果仿真
• 4.4 小结
• 第五章 PCA,MCA学习算法的混沌现象
• 5.1 引言
• 5.2 LMSER PCA算法的混沌现象
• 5.2.1 局部稳定性
• 5.2.2 不变集与混沌现象
• 5.3 一种MCA学习算法的混沌现象
• 5.3.1 算法的不变集
• 5.3.2 稳定性和混沌现象
• 5.4 小结
• 第六章 PCA神经网络在医学图像配准中的应用
• 6.1 引言
• 6.2 配准方法
• 6.2.1 特征提取
• 6.2.2 计算旋转角度
• 6.2.3 计算平移距离
• 6.3 结果仿真
• 6.3.1 NIR-MR配准
• 6.3.2 CT-MR配准
• 6.4 小结
• 第二部分 支持向量机（SVM）的研究
• 第七章 概述
• 7.1 引言
• 7.2 支持向量机（SVM）
• 7.3 SVM存在的问题
• 7.3.1 大数据样本带来的问题
• 7.3.2 SVM对噪声的敏感性问题
• 7.4 本部分的研究内容
• 7.5 小结
• 第八章 SVM的分解方法SMO研究
• 8.1 引言
• 8.2 改进的SMO的工作集选择
• 8.3 简化的最小化过程
• 8.4 SMO的收敛性
• 8.5 小结
• 第九章 选择支持向量子集的新方法—PCNN
• 9.1 引言
• 9.2 选择一个候选SV子集方法
• 9.2.1 一个理想的候选子集
• 9.2.2 选择SV子集的基本思路
• 9.3 PCNN模型
• 9.4 PCNN选择SV子集
• 9.4.1 子集选择方法
• 9.4.2 PCNN算法
• 9.5 结果仿真
• 9.6 小结
• 第十章 一种新的模糊SVM
• 10.1 引言
• 10.2 模糊SVM
• 10.3 一个新的用于非线性SVM的模糊从属关系函数
• 10.4 结果仿真
• 10.4.1 人工数据仿真
• 10.4.2 真实数据仿真
• 10.5 小结
• 第三部分 回复式神经网络的研究
• 第十一章 概述
• 11.1 引言
• 11.2 回复式网络的收敛特性
• 11.3 回复式网络的时滞特性
• 11.4 本部分研究内容
• 11.5 小结
• 第十二章 一类时变输入的变时滞回复式神经网络
• 12.1 引言
• 12.2 一些准备
• 12.3 收敛性分析
• 12.4 结果仿真
• 12.4.1 时变输入常时滞仿真
• 12.4.2 时变输入变时滞仿真
• 12.5 小结
• 全文总结
• 参考文献
• 致谢
• 附录A 攻读博士学位期间发表论文情况
• 附录B 攻读博士学位期间科研与学术活动情况