论文题目: 独立成分分析的若干算法及其应用研究
论文类型: 博士论文
论文专业: 运筹学与控制论
作者: 史振威
导师: 唐焕文,唐一源
关键词: 独立成分分析,盲源分离,盲信号处理,不动点算法,非监督学习,极大似然估计,极大后验估计,功能磁共振成像
文献来源: 大连理工大学
发表年度: 2005
论文摘要: 独立成分分析(independent component analysis,ICA)是一种新的数据处理方法,目的在于从未知源信号的观测混合信号中分离(或抽取)相互统计独立的源信号。将ICA用来处理盲源分离问题(blind source separation,BSS)已经引起了广泛的关注,并已成功地应用于语音信号处理、通信、人脸识别、图像特征提取、神经计算和医学信号处理等众多领域。本论文就独立成分分析、盲源分离的若干算法及其应用进行了一些研究。本文的概要如下: 第一章对独立成分分析的算法和应用,国内外的发展状况作了较详细的介绍,并阐述了本文的主要工作。 第二章对标准的ICA进行了研究。国际上应用最广的是FastICA算法(Fixed-Point算法)和极大似然的自然梯度法(Infomax算法或Lee et al.的ExtICA算法),它们各有优缺点。FastICA收敛速度快,但分离精度上逊于ExtICA算法;而ExtICA算法的收敛速度较慢。针对这种情况,我们提出一种新的不动点算法,该算法综合了FastICA算法和ExtICA算法各自的优势,能够盲分离超高斯和亚高斯分布源的混合信号。与FastICA算法和ExtICA算法比较,该算法在分离的精度上较高且算法收敛速度较快。将该算法应用到大规模的生物医学信号fMRI(功能磁共振成像)的数据处理中,得到了不错的结果,从时间动力学的角度来看,该算法优于FastICA算法。进一步针对ICA对于幅度和排序的不确定性,提出一种基于投影方法的约束独立成分分析算法,使分离出的信号能按某种统计量来进行排序。 第三章针对源信号的个数多于混合信号个数时的盲分离问题,即超完备的独立成分分析(overcomplete ICA)进行了研究。我们提出用两阶段方法来求解该问题,即先估计混合矩阵,当估计出混合矩阵后,再估计源信号。首先,提出用广义指数混合模型(或稀疏混合模型)来估计混合矩阵,这同时适用于无噪和低噪声模型的情况。估计出混合矩阵后,对于无噪的情况,通过解大规模的线性规划来估计源信号;对于低噪声的情况,可通过MAP方法来估计源信号。将算法用于自然语音信号的盲分离中,取得了较好的结果。 第四章研究具有时间结构的独立成分分析。当源信号具有时间结构时,从信息论的观点出发,提出复杂性寻踪的不动点算法,来寻找数据投影最易编码的方向。这个观点可能与大脑的信息处理原理有联系。与一般的只利用非高斯性或只利用时间结构的ICA算法不同,该算法有效结合了数据的非高斯性和时间结构信息,能够最大限度的挖掘数据的信息,来获得更好的结果。这个算法与一般的神经梯度算法相比有优势,如收敛速度快,不用选择学习率,这些特点使得该算法能够有效应用到实际问题的处理中,能够解决标准的ICA算法所不能解决的问题。我们还对算法进行了收敛性分析。有趣的是,当源信号不具有时间结构时,该算法即是著名的FastICA算法。该算法能够分大连理工大学博士学位论文离出具有相同自协方差的信号(包括两个以上的高斯信号),这对于一般的盲分离算法是相当艰巨的任务.将该算法用于自然图像的盲分离中,取得了较好的效果.这是标准的ICA算法难以完成的任务,因为通常自然图像之间并不是统计独立的,具有一定的相关性,结合它们内在的时间结构信息,复杂性寻踪的不动点算法能够较好的完成这个任务. 第五章针对脱m(功能磁共振成像)数据的空间独立成分分析,提出了两个算法:Orth-Infomax算法和新的牛顿型算法. 到目前为止,国际上常用两个ICA算法来执行仆度RJ数据的空间独立成分分析:Infomax算法和F议ed一Point算法(F蚀stICA算法).本章提出独立成分分析的一个改进的梯度学习算法,简称正交信息极大化算法(orthogonal Infomax,orth一Infomax).这个算法综合了I刘romax算法和F议ed-Point算法的优点.我们从语音信号和几度RJ信号两方面来比较这三个算法.就语音信号的分离准确度来说,Ort卜Infomax算法具有较好的分离精度.对于真实的几在RJ数据来说,orth-1刘romax算法具有最佳的估计脑内激活的时间动力学准确性.这说明该算法是对大规模几度Rl信号进行空间独立成分分析的有效算法. 另外,我们采用独立成分分析的一种新的牛顿型算法来提取口匹班信号中的各种独立成分(包括与实验设计相关的成分以及各种噪声).与FbstICA相比,该算法减少了运算量,提高了运算速度,而且能够很好地分离出各个独立成分.我们对算法进行了收敛性分析,在较弱的条件下,算法具有收敛快速的特点. 第六章总结本文的主要研究成果,同时对独立成分分析和盲分离算法的发展进行了展望.关键词:独立成分分析;盲源分离;盲信号处理;不动点算法;非监督学习;极大似然估计;极大后验估计;功能磁共振成像
论文目录:
1 绪论
1．1 引言
1．2 研究独立成分分析的意义
1．3 独立成分分析
1．3．1 多元数据的线性表示
1．3．2 盲源分离
1．3．3 独立成分分析模型
1．4 实现标准的独立成分分析的优化方法
1．4．1 信息极大化
1．4．2 非高斯性极大化
1．4．3 极大似然估计
1．4．4 互信息极小化
1．5 扩展的独立成分分析
1．6 国内外研究概况
1．7 本论文的主要工作
2 标准的独立成分分析
2．1 独立成分分析的新的不动点算法
2．1．1 标准独立成分分析的数学模型
2．1．2 ICA模型的似然
2．1．3 ICA的一个不动点算法
2．1．4 仿真与实验结果
2．2 ICA在fMRI数据处理中的应用
2．2．1 材料和方法
2．2．2 结果及分析
2．2．3 时间动力学准确性的比较
2．3 基于投影方法的约束独立成分分析
2．3．1 约束ICA
2．3．2 约束ICA的求解
2．3．3 计算仿真
2．4 讨论和结论
3 超完备的独立成分分析
3．1 引言
3．2 超完备表示和广义指数混合模型-无噪声线性模型
3．2．1 估计源信号的线性规划算法
3．2．2 估计混合矩阵的聚类方法
3．2．3 广义指数混合模型的梯度学习算法
3．2．4 无噪模型的计算仿真
3．3 超完备表示和广义指数混合模型-噪声线性模型
3．3．1 源信号的MAP估计
3．3．2 混合信号的聚类现象
3．3．3 噪声模型的计算仿真
3．4 超完备表示和稀疏混合模型
3．4．1 混合信号的聚类现象
3．4．2 稀疏混合模型的学习算法
3．4．3 计算仿真
3．5 讨论和结论
4 具有时间结构的方法
4．1 引言
4．2 复杂性和时间序列
4．3 复杂性寻踪
4．4 复杂性寻踪的不动点算法
4．5 算法的收敛性分析
4．6 与其它算法的关系
4．7 计算仿真
4．8 图像的盲分离
4．8．1 纹理图像的盲分离
4．8．2 自然图像的盲分离
4．9 讨论和结论
5 功能磁共振成像数据的空间独立成分分析
5．1 引言
5．2 改进的ICA梯度学习算法
5．2．1 学习算法
5．2．2 实验结果
5．3 实现fMRI信号盲分离的新的牛顿型算法
5．3．1 ICA的一种牛顿型算法
5．3．2 新的牛顿型算法实现fMRI数据的盲分离
5．4 讨论和结论
6 总结与展望
参考文献
创新点摘要
攻读博士期间完成的论文
致谢
发布时间: 2005-07-04
参考文献
- [1].源信号自适应的独立成分分析算法应用与研究[D]. 薛云峰.上海交通大学2009
- [2].脑—机接口系统中脑电信号处理方法的研究[D]. 孙宇舸.东北大学2012
- [3].无线通信盲源分离关键技术研究[D]. 骆忠强.电子科技大学2016
- [4].盲源分离的扩展模型与算法研究[D]. 王法松.西安电子科技大学2013
- [5].自适应盲信号处理理论及应用研究[D]. 王惠刚.西北工业大学2002
- [6].基于盲源分离的阵列信号波达参数估计[D]. 胡增辉.国防科学技术大学2012
- [7].盲信号分离若干关键问题研究[D]. 周郭许.华南理工大学2010
- [8].源信号为AR模型的独立成分分析算法及其应用研究[D]. 杨玉敏.大连理工大学2008
- [9].基于数据驱动的环境模态分析方法研究[D]. 秦少谦.中国科学技术大学2015
- [10].融合领域知识的心电图分类方法研究[D]. 王丽苹.华东师范大学2013
标签：独立成分分析论文; 盲源分离论文; 盲信号处理论文; 不动点算法论文; 非监督学习论文; 极大似然估计论文; 极大后验估计论文; 功能磁共振成像论文;