视觉感知的稀疏编码理论及其应用研究

论文摘要

在大脑接收的来自外部世界的感知信息中,80%以上是通过视觉系统进行加工处理的。最近二十多年来,视觉信息加工的机制是心理学、神经科学、计算机科学等学科研究的重大课题之一。人们广泛认为,生物视觉系统在长期进化和发展中,自适应于自然环境中输入刺激的统计特性,但是生物视觉系统是怎样对外界环境的刺激模式做出响应?Attneave,Barlow和Olshausen & Field等从信息论出发,发展了稀疏编码理论,认为在视觉系统V1区神经细胞的处理过程中,一个重要的约束就是编码的稀疏性,从而利用较少的资源尽可能有效地编码更多的信息。稀疏编码理论在视神经细胞的响应特性和外部环境刺激的统计特性之间建立一种科学的数量联系,逐渐成为了一种有效理解人类神经系统信息加工机制的理论工具,是国际神经计算,神经网络和人工智能方面的一个研究热点。本论文以稀疏编码模型和理论为基础,从模拟大脑信息处理方式出发,在理论上进行创新性的探索,并将模型和理论成功地应用于计算机视觉的图像检索领域中。取得的主要成果包括:第一,面向知觉任务的稀疏编码模型最近的心理学和生理学研究成果表明,简单细胞的信息处理过程并不仅仅是一个数据驱动的过程,它还受知觉任务的影响,本文在Olshausen和Field提出的数据驱动的稀疏编码模型基础上,设计了面向知觉任务的稀疏编码模型（简称TOSC）,TOSC模型探索了什么信息应该被编码的问题,也就是What-问题。在从输入空间到系数空间的编码过程中,为了提高编码系数空间的可分性,我们引入了模式分类任务的监督信息-判别距离,结合稀疏编码的约束条件形成新的代价函数（Cost function）,然后,优化学习得到面向模式分类任务的稀疏编码模型;通过二分类任务（自然风景和建筑物的分类）的实验,我们验证了面向知觉任务稀疏编码模型的有效性。第二,双层反馈稀疏编码模型最近的研究成果表明,初级视皮层的加工过程远非简单的局部特征抽取,相反,它的加工是动态的、交互的和可塑的,它的加工过程受高级皮层的视觉推理和任务以及行为经验的影响。本文扩展了单层的基于ICA算法的稀疏编码模型,在多层感知机的基础上,我们提出了一个带反馈机制的双层稀疏编码模型（简称TLF-SC）,在TLF-SC模型中,神经细胞的响应除了受稀疏编码准则的影响,即保持神经细胞响应的统计独立性,同时它还受到反馈信号的调节,使得神经细胞的编码能更加适应于高层的知觉任务。我们的仿真结果表明,TLF-SC模型的ICL神经元既表现出类似V1区简单细胞感受野的特性,也表现出对知觉任务的自适应性,同时TLF-SC模型还能取得比较好的分类性能。第三,基于注意机制的稀疏编码模型我们研究发现对作用于同一个输入刺激的简单

论文目录

• 摘要
• 第一章 引言
• 1.1 研究背景与意义
• 1.2 研究现状概述
• 1.3 本文的主要贡献
• 1.4 论文的组织
• 第二章 人类视觉感知系统及有效编码概述
• 2.1 什么是视觉感知
• 2.1.1 外部环境的输入刺激
• 2.1.2 神经信息处理机制
• 2.1.3 视感官系统的输出
• 2.2 人类视觉感知系统
• 2.2.1 人类视觉系统的初级视觉通道
• 2.2.2 神经细胞感受野特性
• 2.2.3 人类视觉系统的特点
• 2.3 有效编码概述
• 2.3.1 自然图像统计特性
• 2.3.2 有效编码研究进展
• 2.3.3 有效编码研究面临的挑战
• 2.3.4 有效编码理论的应用
• 2.4 小结
• 第三章 面向知觉任务的稀疏编码模型
• 3.1 引言
• 3.2 相关工作
• 3.2.1 线性叠加模型
• 3.2.2 稀疏编码模型
• 3.3 冗余可辨别的系数空间
• 3.4 面向分类任务的稀疏编码模型
• 3.4.1 判别约束
• 3.4.2 学习算法
• 3.5 仿真结果
• 3.5.1 预处理和实验条件
• 3.5.2 仿真结果
• 3.6 参数分析
• 3.6.1 对稀疏性能的影响
• 3.6.2 对重构误差的影响
• 3.6.3 对分类准确性的影响
• 3.7 讨论
• 3.8 小结
• 第四章 双层反馈稀疏编码模型
• 4.1 引言
• 4.2 相关工作
• 4.2.1 独立成份分析方法
• 4.2.2 基于ICA的稀疏编码模型
• 4.2.3 多层感知机
• 4.3 双层反馈稀疏编码模型
• 4.3.1 TLF-SC模型概述
• 4.3.2 TLF-SC网络模型训练算法
• 4.4 仿真结果
• 4.4.1 模拟数据仿真
• 4.4.2 自然图像数据仿真
• 4.5 小结
• 第五章 基于注意选择机制的稀疏编码模型
• 5.1 引言
• 5.2 相关工作
• 5.2.1 稀疏编码模型
• 5.2.2 注意选择机制研究现状
• 5.3 基于注意机制的稀疏编码模型
• 5.3.1 模型概述
• 5.3.2 非均匀采样注意模块
• 5.3.3 基于响应显著度的注意模块
• 5.3.4 注意选择策略
• 5.4 实验结果
• 5.4.1 仿真环境和设置
• 5.4.2 仿真结果
• 5.4.3 参数分析
• 5.5 小结
• 第六章 基于稀疏编码模型的纹理特征分析
• 6.1 引言
• 6.2 纹理特征的相关工作
• 6.2.1 Tamura纹理特征
• 6.2.2 自回归纹理模型
• 6.2.3 小波和Gabor纹理特征
• 6.2.4 纹理谱特征
• 6.3 ICA系数纹理特征
• 6.3.1 纹理感知理论和模型
• 6.3.2 ICA系数纹理特征表示和抽取
• 6.3.3 几种纹理特征的分析与比较
• 6.3.4 距离测度
• 6.4 ICA系数纹理特征的图像检索实验
• 6.4.1 实验环境
• 6.4.2 评价准则
• 6.4.3 性能比较
• 6.5 小结
• 第七章 结束语
• 7.1 本文的主要贡献
• 7.2 下一步研究方向
• 附录A Gabor滤波器
• 附录B 定理证明
• 参考文献
• 致谢
• 作者简历