独立分量分析的神经网络方法

论文摘要

独立分量分析(ICA)是信号处理领域的一种重要技术,它的目标是从多通道测量所得到的由若干独立信源混合而成的观察信号中分离出独立成分。作为一个重要的统计分析工具,ICA在语音分离、生物医学信号处理、图像处理、通讯等领域已经得到了广泛的应用。神经网络是进行独立分量分析的一种重要工具,与其它方法相比,利用神经网络分解独立分量的计算更简单,而且更适合于在实时环境中在线提取独立分量。ICA神经网络的动力学性质研究对其实际应用起着至关重要的作用,因而引起了学术界的广泛关注。研究这类网络动力学性质的传统方法是DCT方法,该方法将原来的系统转化为相应的确定连续时间DCT(Deterministic Continuous Time)系统,通过DCT系统来间接地研究原始系统。该方法基于随机逼近理论,要求学习速率必须收敛到零,而实际应用中这个条件很难达到。为克服这个缺点,DDT(Deterministic Discrete Time)方法被提出并得到了广泛应用,该方法一方面保持了原始系统的离散特征,另一方面不需要DCT方法的严格条件,因而更加合理。本文将利用DDT方法对几个ICA神经网络的动力学性质进行研究。本文的主要创新成果如下:(1)利用DDT方法研究了A. Hyvarinen和E. Oja所提出的单个源信号提取神经网络的动力学行为。获得了网络不动点存在以及稳定的条件。当算法中所包含的非线性函数项被确定为某类函数时,得到了保证网络轨迹有界的三个不变集。在这些不变集中获得了网络轨迹收敛和混沌的条件;在这些不变集以外,获得了产生混沌的条件。(2)盲解相关是独立分量分析的一个重要处理步骤,利用DDT方法研究了全局盲解相关神经网络的动力学性质。获得了该网络的两个不变集;给出了从其中一个不变集出发的轨迹收敛以及从另一个不变集出发的轨迹混沌的条件;得到了DDT系统所对应的在线算法,实验证明该算法是可行的。(3)利用DDT方法研究了局部盲解相关神经网络的收敛性质,获得了保证轨迹收敛的充分条件。首先将条件期望应用到该网络中而得到相应的DDT系统,然后通过DDT系统间接地研究原始系统的动力学性质。得到了DDT系统的在线算法,实验证明这个算法是可行的。(4)利用DDT方法研究了ICA神经网络自然梯度学习算法的动力学行为。获得了一维网络的两个不变集,分别得到了从这两个不变集出发的轨迹混沌的条件。数值模拟验证了所得结果。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 独立分量分析
• 1.2 独立分量分析的神经网络方法
• 1.2.1 同时提取的神经网络方法
• 1.2.2 逐次提取的神经网络方法
• 1.3 神经网络的动力学性质研究
• 1.4 本文主要研究内容与章节安排
• 第二章 一类ICA神经网络的动力学性质研究
• 2.1 研究背景
• 2.2 预备知识
• 2.3 不动点的存在性与稳定性分析
• 2.4 收敛与混沌分析
• 2.4.1 n维系统的收敛与混沌分析
• 2.4.2 二维系统的混沌分析
• 2.5 实验结果
• 2.6 本章小结
• 第三章 全局盲解相关神经网络的动力学性质研究
• 3.1 预备知识
• 3.2 网络的动力学性质分析
• 3.2.1 不变集与收敛性
• 3.2.2 混沌分析
• 3.3 数值模拟
• 3.3.1 不变集与收敛性
• 3.3.2 复杂动力学行为
• 3.4 本章小结
• 第四章 局部盲解相关神经网络的收敛性分析
• 4.1 背景知识
• 4.2 网络的收敛性质
• 4.3 数值模拟
• 4.4 本章小结
• 第五章 ICA神经网络自然梯度学习算法的动力学性质分析
• 5.1 背景知识
• 5.2 混沌的存在
• 5.2.1 不变集
• 5.2.2 混沌现象
• 5.3 仿真试验
• 5.4 本章小结
• 第六章 结束语
• 致谢
• 参考文献
• 攻博期间取得的研究成果