独立分量分析算法及其应用研究

论文摘要

独立分量分析（Independent Compondent Analysis：ICA）是近年来提出的非常有效的数据分析工具，它主要用来从混合数据中提取出原始的独立信号。最基本的ICA模型假设源信号是线性混合并且是互相独立的。独立分量分析可以用来处理很多应用领域的数据，例如数字图像、文本数据库、以及经济指标数据、心理测量数据等等。 在过去的二十多年里，由于ICA所具有的广阔的应用前景，吸引了众多的科研工作者献身其中，ICA也因此获得了迅猛的发展。然而，ICA尚处于发展阶段，其理论和应用方面的研究都有待于进一步深化和完善。 本文首先回顾了独立分量分析问题的发展历史、研究现状和实际应用，并对独立分量分析理论基础进行了简单描述，包括独立分量分析的数学定义、基本假设、相关的数学理论基础和实现途径等。然后针对一些独立分量分析的算法和应用问题进行了深入的研究，并提出了几个有效的算法。全文的主要工作包括以下几个方面： 1) 提出了一种基于多层感知器网络的后非线性（PNL）独立分量分析算法。后非线性（Post-nonlinear：PNL）混合信号的分解问题，是ICA模型扩展到非线性混合的一个重要情形。现有的PNL算法往往存在一些缺点，例如计算量比较大、记分函数估计不精确等。为了克服这些缺点，本文提出了一种基于最小互信息的PNL分离算法。我们以在普通非线性独立分量分析中得到广泛应用的MISEP算法的基本理论作为基础，然后结合后非线性混合的实际，通过在MISEP算法中加入关于混合结构的先验知识构建出适合PNL的分离算法。该PNL分离算法模型由两组多层感知机中间加一个线性网络构成。分离网络的优化学习算法通过最大化网络输出熵得出。由于分离网络的特殊结构以及对分离网络所施加的约束，使得最大化网络输出熵等价于最小化分离变量的互信息，但却不需要估计每个分离变量的边缘概率密度函数。 2) 结合源信号的先验知识，提出了一种基于最小互信息的非负ICA算法。与上面提出的PNL-ICA算法相似，本算法也是基于最小化分离信号的互信息，

论文目录

• 摘要
• ABSTRACT
• 插图目录
• 表格目录
• 第一章 绪论
• 1.1 独立分量分析的概念
• 1.1.1 鸡尾酒会问题
• 1.1.2 独立分量分析的定义
• 1.2 独立分量分析的研究历史
• 1.3 独立分量分析的研究现状
• 1.4 独立分量分析的应用
• 1.5 本文的内容安排与创新点
• 1.5.1 本文的内容安排
• 1.5.2 本文主要创新点
• 参考文献
• 第二章 独立分量分析基本理论
• 2.1 随机变量的独立性的概念
• 2.2 独立分量分析估计原理
• 2.2.1 非高斯性
• 2.2.2 峭度
• 2.2.3 负熵
• 2.2.4 互信息
• 2.2.5 最大似然估计
• 2.3 独立分量分析的预处理
• 2.3.1 中心化
• 2.3.2 白化
• 2.3.3 降维
• 2.4 独立分量分析基本算法
• 2.5 本章小结
• 参考文献
• 第三章 基于感知器网络的后非线性独立分量分析
• 3.1 引言
• 3.2 盲源分离和非线性独立分量分析问题
• 3.2.1 线性混合
• 3.2.2 非线性混合
• 3.2.3 后非线性混合
• 3.2.3.1 后非线性混合模型
• 3.2.3.2 后非线性混合的可分离性
• 3.3 基于最小互信息的算法结构
• 3.3.1 独立性标准
• 3.3.2 最小化互信息的计算方法
• 3.4 分离网络的非监督学习算法
• 3.4.1 优化算法
• 3.4.2 算法性能指标
• 3.4.3 算法迭代步骤
• 3.5 实验结果与讨论
• 3.5.1 实验1
• 3.5.2 实验2
• 3.5.3 实验3
• 3.6 本章小结
• 参考文献
• 第四章 基于最小互信息的非负独立分量分析
• 4.1 引言
• 4.2 基于最小互信息的非负ICA算法
• 4.2.1 非负ICA算法的结构
• 4.2.2 非负ICA优化算法
• 4.2.3 算法性能指标
• 4.2.4 算法迭代步骤
• 4.3 试验结果和讨论
• 4.3.1 超高斯和亚高斯混合信号
• 4.3.2 亚高斯信号
• 4.3.3 超高斯信号
• 4.3.4 图像信号
• 4.4 本章小结
• 参考文献
• 第五章 独立分量分析在DNA微阵列数据分析中的应用
• 5.1 引言
• 5.2 DNA微阵列技术
• 5.2.1 DNA微阵列数据的获取与预处理
• 5.2.1.1 基于DNA微阵列的基因表达监测实验
• 5.2.1.2 DNA微阵列数据的预处理
• 5.2.2 DNA微阵列数据分析的意义
• 5.2.3 癌症诊断与分类
• 5.3 基于独立分量分析的基因表达数据惩罚性分类方法
• 5.3.1 独立分量分析算法-FastICA
• 5.3.2 DNA微阵列数据的ICA模型
• 5.3.3 计算一致特征样本
• 5.3.4 ICA模型的生物学意义
• 5.3.5 ICA和PCA
• 5.3.6 惩罚性回归模型
• 5.3.7 优化得分算法
• 5.3.8 惩罚性优化得分分类算法
• 5.3.9 特征基因的选择
• 5.4 实验结果及分析
• 5.4.1 肿瘤样本数据集
• 5.4.2 分类预测结果
• 5.4.3 特征样本的可信度与判别性之间的关系
• 5.5 本章小结
• 参考文献
• 总结与展望
• 攻读博士学位期间发表的论文及参加的科研项目
• 致谢