基于最大非高斯估计的独立分量分析理论研究

论文题目: 基于最大非高斯估计的独立分量分析理论研究

论文类型: 博士论文

论文专业: 控制科学与工程

作者: 王刚

导师: 胡德文

关键词: 独立分量分析,盲源分离,最大非高斯估计,峭度,负熵,快速不动点算法

文献来源: 国防科学技术大学

发表年度: 2005

论文摘要: 近几年来,独立分量分析(Independent Component Analysis, ICA)已经成为信号处理和神经网络等领域的研究热点。由于具有优异的盲辨识、特征提取和表示能力,ICA已经日益广泛的应用于远程通信、语音提取(盲辨识)、图像增强和生理信号处理等领域。和基于非线性去相关(Nonlinear Decorrelation)原理的最大似然估计(Maximum Likelihood Estimation, MLE)、最小互信息(Minimum Mutual Information, MMI)等的多元ICA估计不同,最大非高斯估计(Maximum Nongaussianity Estimation)是典型的一元目标函数方法。其思想是通过寻找观测信号的某种线性变换,使得输出信号的非高斯性极大,从而实现潜在独立分量的提取。和非线性去相关方法比较,最大非高斯估计的原理简单、实现灵活,其中基于负熵近似的快速不动点算法(FastICA)已经成为当前最为流行的ICA算法之一。本文重点研究最大非高斯估计的相关理论问题,包括估计的唯一性,算法的收敛性,独立性约束分析和非线性激活函数,独立分量的排序和子空间的选择,具有时间结构信息的信号源的估计等。论文的主要贡献在于以下几个方面:1.最大非高斯估计的唯一性估计的唯一性是最大非高斯估计的关键,是对应算法及其应用可行性的保证。最大非高斯估计的唯一性要求在满足ICA的基本约束条件下,目标函数的极大非高斯点和独立源之间存在一一对应关系。和基于启发性分析等传统方法和结论比较,文中引入了线性化可行方向(Linear Feasible Direction, LFD)等约束优化概念和理论,首次给出了基于峭度的最大非高斯估计的唯一性证明,指出最大非高斯估计是独立源提取的充分和必要条件。研究还表明,对于多元目标函数方法中提出的核心问题——一比特匹配(“one-bit-matching”)猜想,最大非高斯估计的唯一性结论提供了一种简单而有效的分析和证明方法。2. FastICA算法的全局收敛性在解析FastICA算法基本原理的基础上,给出了算法的全局收敛性分析。其中以二维系统为例,首先给出所有的平衡点,结合收敛域和平衡点的对应关系,指出在满足ICA模型的基本假设条件下,FastICA算法不存在对应独立分量之外的伪解。研究表明,这一结论还可以直接推广到高维系统。其次,考虑实际系统并不能够严格满足ICA模型的基本约束,结合仿真实验分析,指出收敛门限设置和独立性约束对估计结果的影响。3.参数自适应FastICA算法非线性激活函数(Nonlinear Activation Function)和独立性约束密切相关,是ICA估计的关键因素之一。最大似然估计等研究表明,最好的非线性激活函数是对应源信号概率密度函数的得分函数(Score Function)。在传统FastICA算法中,要求先根据存在的先验知识选定合适的非线性激活函数,而且对于所有的甚至包含不同类型的源信号,通常采用固定的同一激活函数。为此,

论文目录:

第一章 绪论

1.1 引言

1.2 ICA 基础理论

1.2.1 基本定义

1.2.2 估计原理和常用估计方法

1.2.3 ICA 的应用和研究现状

1.3 论文的研究内容、组织结构和贡献

1.3.1 论文研究的主要内容

1.3.2 论文的组织结构

1.3.3 论文的主要贡献

第二章 最大非高斯估计的基本理论

2.1 非高斯性度量

2.1.1 峭度——基于统计量的方法

2.1.2 负熵——基于信息论的方法

2.2 最大非高斯估计方法

2.2.1 基于峭度的估计方法

2.2.2 基于负熵的估计方法

2.2.3 最大非高斯估计与其它ICA 估计方法

2.3 ICA 理论的本质与因子旋转

2.3.1 ICA 与经典线性表示

2.3.2 ICA 与因子旋转

2.3.3 基于Varimax 的ICA 估计方法

2.4 本章小结

第三章 最大非高斯估计的唯一性分析

3.1 问题的提出

3.2 最大非高斯估计的唯一性分析

3.2.1 ICA 与最大非高斯估计

3.2.2 唯一性证明

3.2.3 低维情况分析

3.2.4 唯一性与一比特匹配猜想

3.3 最大非高斯估计的局部稳定性分析

3.3.1 最大非高斯估计的局部稳定性分析

3.3.2 基于GGM 模型的局部稳定性和鲁棒性分析

3.4 FastICA 算法解析和全局收敛性分析

3.4.1 算法解析

3.4.2 全局收敛性分析

3.5 非理想约束对估计的影响

3.5.1 收敛门限对估计的影响

3.5.2 独立性约束对估计的影响

3.6 本章小结

第四章 独立性约束和参数自适应FastICA 算法

4.1 问题的提出

4.2 对弱相关信号的盲辨识能力分析

4.2.1 相关源信号的混合和ICA 辨识模型

4.2.2 辨识能力分析

4.2.3 仿真实验

4.3 参数自适应FastICA 算法

4.3.1 相关知识

4.3.2 学习规则和算法

4.3.3 性能分析

4.4 仿真实验

4.5 本章小结

第五章 多源估计和独立分量排序

5.1 基于PCA 的预处理方法的本质

5.1.1 基本问题

5.1.2 基于PCA 的数据降维

5.1.3 有效性分析

5.2 多源估计方法

5.2.1 两种策略

5.2.2 盲特征提取与压缩算法

5.2.3 压缩式盲信号提取方案

5.3 独立分量的排序

5.3.1 常规方法

5.3.2 时间序列预测中独立分量的排序

5.3.3 模式识别中独立分量的排序

5.4 本章小结

第六章 时间ICA 模型的新息方法

6.1 问题的提出

6.2 ICA, SOS 与盲信号分离

6.2.1 SOS 和盲信号分离

6.2.2 ICA, SOS 对TICA 模型的估计

6.3 TICA 模型的新息方法

6.3.1 ICA 对TICA 模型估计的有效性

6.3.2 ITICA 方法和基本约束分析

6.3.3 收敛性分析

6.4 仿真实验

6.5 本章小结

第七章 总结与展望

7.1 论文所作的主要工作

7.2 后继工作

致谢

参考文献

作者在攻读博士期间发表的论文和参加的科研项目

发布时间: 2006-09-14

参考文献

• [1].非高斯随机分布系统控制与故障检测方法的研究[D]. 屈毅.兰州理工大学2013
• [2].非高斯系统的控制及滤波方法研究[D]. 任密蜂.华北电力大学2014

相关论文

• [1].线性盲源分离算法的理论与应用研究[D]. 袁连喜.哈尔滨工程大学2006
• [2].盲信号分离及其在心电和语音信号处理中的应用[D]. 丁志中.中国科学技术大学2007
• [3].基于源信号模型的盲分离技术研究及应用[D]. 黄青华.上海交通大学2007

标签：独立分量分析论文;  盲源分离论文;  最大非高斯估计论文;  峭度论文;  负熵论文;  快速不动点算法论文;