稀疏编码算法中的自适应问题研究

论文摘要

稀疏编码算法最初是作为自然图像的神经编码模型而提出的,主要用于模拟哺乳类生物视觉系统初级视皮层V1区简单细胞的视觉加工过程。稀疏编码算法的基本原理可描述为:对于一个给定的自然图像刺激,仅有一小部分简单细胞被激活。同时,稀疏编码算法的基本思想也可理解为:在不同的图像刺激下,一个给定的简单细胞是很少被激活的。由于稀疏编码算法不但能够成功模拟初级视皮层V1区简单细胞的神经响应特性,而且可以根据输入图像自身的特点学习基函数,因此是一种自适应的神经编码方法,应用前景十分宽广。例如,稀疏编码算法已经在图像编码、图像消噪、图像检索、盲源分离、特征提取以及模式识别等诸多领域都有重要的应用。然而,因为神经生理学家对初级视皮层V1区信息加工机制的了解尚不全面,所以稀疏编码算法目前仍处于发展阶段,其在理论和应用方面的研究还有待于进一步的深化和完善。本文首先介绍了与稀疏编码算法相关的神经生理学背景,接着给出了稀疏编码算法的数学描述,然后阐述了稀疏编码算法的发展历史、研究现状和存在问题,最后主要针对稀疏编码算法中的自适应问题进行了深入研究,提出了三种有效的自适应改进方法,旨在提高稀疏编码算法在预处理阶段和学习阶段的自适应能力,并在自然图像特征提取、人脸识别和盲源分离等实际应用中加以验证分析。全文的主要研究工作可以概括如下:第一,提出了一种基于自然图像能量谱特性的自适应白化/低通滤波预处理方法。在该项研究工作中,本文首先指出现有的固定白化滤波器的不足,其次在分析自然图像能量谱的幂率特性基础上,构建了一个参数可调的白化滤波器,然后通过探讨自然图像像素点间的二阶去相关过程与白化滤波预处理之间的等价关系,提出了一种有效且可靠的白化参数自适应学习方法。由于白化参数可根据输入图像学习得到,因此与固定的白化滤波器相比,本文提出的自适应白化滤波器的适用范围更广。同时,考虑到白化滤波器具有噪声放大效应,因此本文又进一步地将低通滤波器与白化滤波器相结合,构造了一个自适应白化/低通滤波器。它不但能使输入图像中的边缘、线段等有效高频成分得到增强,而且可以降低噪声污染,因此对基于高阶统计特性的稀疏编码算法而言是十分有利的。例如,在自然图像特征提取的仿真实验中发现,自适应白化/低通滤波预处理能够加快稀疏编码算法的学习速度;在人脸图像ICA(由于ICA与稀疏编码算法存在特殊的等价关系,因此本文亦将ICA纳入稀疏编码算法框架内)特征识别的仿真实验中则发现,自适应白化/低通滤波预处理能显著增强ICA人脸特征的识别率。第二,提出了一种基于Lorentz自适应先验概率模型的稀疏编码算法。在该项研究工作中,本文通过分析稀疏编码算法的Bayes内涵指出,现有的稀疏编码算法由于通常事先假定基函数系数服从某个统一且固定的超高斯分布,因此在实际应用中具有一定的局限性,且与哺乳类生物视觉系统中普遍具有的自适应学习机制是不相符的。为了解决这个问题,本文首先从方法论的角度指出应将基函数系数的先验概率分布也看作是稀疏编码算法的学习目标之一,即应通过自适应学习的方式来确定基函数系数的先验概率分布。接着,从理论分析的角度论证了将标准Cauchy分布的单参数推广形式——Lorentz分布——作为基函数系数先验概率模型的可行性。然后,推导了基于Lorentz自适应先验概率模型的稀疏编码算法。与现有的稀疏编码算法的主要不同之处在于,后者需在稀疏编码交替迭代的外部循环阶段增加除基函数学习之外有关Lorentz先验概率密度参数估计的学习任务。由于先验概率的密度参数能够根据输入数据自动更新,因此与现有的稀疏编码算法相比,本文提出的基于Lorentz自适应先验概率模型的稀疏编码算法的编码效率更高。同时,这一结论在自然图像特征提取的仿真实验中得到了充分验证。第三,提出了一种基于PearsonⅦ型自适应先验概率模型的稀疏编码算法。在该项研究工作中,本文首先通过分析Lorentz密度函数的尾部特征指出,Lorentz分布的尾部指数等于且始终等于2。亦即,虽然Lorentz稀疏先验概率模型中包含一个可灵活调节的尺度参数,但是从稀疏分布的重尾性角度来看,Lorentz分布的灵活性仍然有待提高。因此,本文提出应在Lorentz分布的密度函数中再增加一个能够反映分布函数尾部特征的形状参数,希望通过该参数的可调节性进一步改善稀疏编码算法的自适应性。实际地,这个含双参数的Cauchy分布推广形式就是PearsonⅦ分布。由于形状参数的引入,与仅含尺度参数的Lorentz先验概率模型相比,PearsonⅦ型先验概率模型的灵活性更高,能够更精确地捕捉输入信号的高阶统计特征,从而可以更好地揭示输入信号的本质属性,因此与基于Lorentz自适应先验概率模型的稀疏编码算法相比,基于PearsonⅦ型自适应先验概率模型的稀疏编码算法的编码效率得到了进一步的提高。同样地,这一结论在自然图像特征提取的仿真实验中得到了充分验证。第四,将本文提出的两种广义Cauchy先验概率模型与特殊的稀疏编码算法,即ICA算法相结合,一方面希望能够提高传统ICA算法的盲源分离性能,另一方面则希望能够进一步验证两种稀疏先验模型的有效性。由于在ICA盲源分离算法中,非线性对比函数的合理选择是确保能从混合信号中正确分离出源信号的关键,因此解决非线性对比函数的自适应学习问题对于提高分离性能具有重要意义。本文通过揭示非线性对比函数与源信号的先验概率分布之间的密切关系指出,非线性对比函数的自适应学习过程可通过在分离过程中不断调整源信号的先验概率分布形式的方式实现,同时推导出先验概率模型分别采用自适应的Lorentz概率分布和PearsonⅦ型概率分布时的ICA盲源分离算法,并在实际应用中亦发现:与采用固定对比函数的ICA算法相比,本文探讨的两种先验概率自适应的ICA分离算法的分离性能明显提高;同时,后者比前者的分离性能又有所改善。

论文目录

致谢

摘要

ABSTRACT

1 绪论

1.1 研究背景及意义

1.2 神经生物学依据

1.2.1 视觉加工的结构

1.2.2 视神经元的感受野结构

1.2.3 V1区简单细胞的响应特性

1.3 数学描述

1.4 国内外研究概况

1.4.1 发展历史

1.4.2 研究现状

1.4.3 存在问题

1.5 本文研究重点及章节安排

2 稀疏编码算法及其基础知识概述

2.1 基础预备知识

2.1.1 信息论基础

2.1.2 统计学基础

2.1.3 最优化基础

2.2 稀疏编码模型的实现

2.2.1 生成模型

2.2.2 假设前提

2.2.3 目标函数

2.2.4 学习规则

2.2.5 预处理与学习结果

2.2.6 基函数的完备性讨论

2.3 稀疏编码算法与ICA及其它编码方法的关系

2.4 小结

3 基于自然图像能量谱特性的自适应白化/低通滤波预处理

3.1 引言

3.2 能量谱与自相关函数

3.2.1 能量谱的定义

3.2.2 自相关函数的定义

3.2.3 能量谱与自相关函数的关系

3.3 自然图像的二阶相关性

3.3.1 自相关函数的递减性

3.3.2 能量谱的幂率递减性

3.4 自然图像的能量谱白化过程

3.4.1 白化的基本原理

3.4.2 二阶去相关度量

3.4.3 最佳白化参数的自适应选择过程

3.4.4 与低通滤波器结合

3.5 白化/低通预处理对高阶统计模型的影响分析

3.5.1 基于稀疏编码模型的自然图像特征提取实验

3.5.2 基于ICA模型的人脸图像识别实验

3.6 小结

4 基于Lorentz自适应先验概率模型的稀疏编码算法

4.1 引言

4.1.1 稀疏编码模型的Bayes解释

4.1.2 常用的先验概率分布

4.1.3 广义 Laplace先验分布

4.2 Loentz先验概率模型的理论可行性分析

4.2.1 稀疏性

4.2.2 Schur-凹性

4.2.3 连续性

4.3 基于Lorentz自适应先验概率模型的稀疏编码算法推导

4.3.1 算法框架

4.3.2 系数学习

4.3.3 Lorentz密度的参数估计

4.4 自然图像特征提取实验及结果分析

4.4.1 数据准备及参数设置

4.4.2 学习结果

4.4.3 性能分析

4.5 小结

5 基于Pearson VII型自适应先验概率模型的稀疏编码算法

5.1 引言

5.2 Pearson VII型分布及其尾部特征分析

5.3 Pearson VII型先验概率模型的理论可行性分析

5.3.1 稀疏性

5.3.2 Schur-凹性

5.3.3 连续性

5.4 基于Pearson VII型自适应先验模型的稀疏编码算法推导

5.4.1 算法框架

5.4.2 系数学习

5.4.3 Pearson VII型密度的参数估计

5.5 自然图像特征提取实验及结果分析

5.6 小结

6 自适应先验概率模型在盲源分离中的应用

6.1 盲源分离概述

6.1.1 研究背景及意义

6.1.2 数学模型及 ICA约束条件

6.1.3 目标函数

6.1.4 学习规则

6.2 基于自适应先验概率模型的FastICA分离算法

6.2.1 算法结构

6.2.2 与Lorentz先验概率模型结合

6.2.3 与Pearson VII型先验概率模型结合

6.3 盲源分离实验及结果分析

6.3.1 数据准备

6.3.2 分离结果

6.3.3 性能分析

6.4 小结

7 总结与展望

7.1 全文工作总结

7.2 进一步研究设想

7.3 结束语

参考文献

附录A Pearson VII型分布及其数字特征

附录B 双曲正切对比函数的稀疏性

作者简历

学位论文数据集

稀疏编码算法中的自适应问题研究

论文摘要

论文目录

相关论文文献

猜你喜欢