注意力选择机制的研究：算法设计以及系统实现

论文摘要

注意力选择是人的视觉感知的一个重要性质,人可以很容易的完成一般物体的检测和识别,然而传统的机器视觉却没有办法做到,如何开发拟人的注意力系统是本文的研究重点。现有的模仿人的注意力选择模型主要有自下而上的Neuromorphic Vision C++Toolkit（NVT）,SaliencyToolBox（STB）模型等,但其计算复杂度高,无法实时应用;自下而上和自上而下结合的模型,但自上而下部分需要人的参与,且它们不具备学习和记忆的能力。论文在研究现有的模型基础上提出带有学习和记忆的注意力选择模型、具有带有遗忘函数的视觉记忆和能实时运用的时空显著性模型。论文的主要创新包含以下几个方面:1.提出了一种带有学习和视觉记忆的注意力选择模型,该模型包含3个部分,分别为感知映射,认知映射以及运动映射。在认知映射中,我们提出了基于视觉记忆的自监督竞争神经网络和眼球运动估计机制,并且利用增量多层回归树来模拟视觉记忆。该模型能学习不同的目标,对外界环境有自适应的能力,我们的模型被应用于目标跟踪以及机器人自主导航,取得了良好的效果。2.视觉记忆对于注意力选择结果有着很大的影响,然而现有的视觉记忆模型没有遗忘功能,在处理连续不断的图像样本时,会出现速度越来越慢以及记忆溢出的情况。本文提出了一种新的带有遗忘函数的视觉记忆模型:遗忘增量多层分类回归树。该模型可以同时模拟人脑的长期记忆和短期记忆。实验表明,,我们提出的记忆模型具有稳定的规模,较快的搜索速度和较高的准确率。该记忆模型应用在我们提出的注意力选择模型上,实现了有监督的视频编码。3.针对现有的自下而上模型的计算复杂度高问题,提出了一种基于四元数傅立叶变换的时空显著性检测方法。把一幅图像每个像素的值用四元数表示,并利用其傅立叶相位谱来获得时空显著图。实验表明该方法不但比NVT,STB模型更接近人的注意力选择的结果,而且速度很快,能够实时运算。4.将我们提出的时空显著性检测性方法推广到多分辨率下的显著图,提出了层次选择模型来获取一幅图像的树状表示,利用这种表示,可以建立多辨率小波域注意力模型,这种模型可以提升图像及视频编码的效率,从而提高压缩率。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 注意力选择的研究动机:
• 1.2 注意力选择的研究背景
• 1.3 注意力选择的研究范围:
• 1.3.1 自上而下的认知过程:
• 1.3.2 自下而上的感知过程:
• 1.4 论文的创新点:
• 1.5 论文的内容安排:
• 第二章 注意力选择的研究背景
• 2.1 生物视觉的概念:
• 2.1.1 什么是注意力?
• 2.1.2 显性注意力和隐性注意力
• 2.1.3 自下而上（Bottom up）和自上而下（Top down）的注意力
• 2.2 注意力选择的心理学模型
• 2.2.1 Tresiman & Koch's Model（1985）
• 2.2.2 Wolfe's Guided Search Model 2.0（1992）
• 2.3 可计算的注意力选择模型——NVT
• 2.4 本章小结:
• 第三章 基于学习和视觉记忆的注意力选择系统
• 3.1 注意力选择系统的基本结构
• 3.2 运动检测器的设计
• 3.3 视觉记忆模型
• 3.3.1 多层分类回归树/增量多层分类回归树简介:
• 3.3.2 HDR/IHDR的建树过程:
• 3.3.3 HDR/IHDR的更新过程:
• 3.3.4 HDR/IHDR的搜索过程:
• 3.4 基于视觉记忆的眼球运动估计（EMP）
• 3.5 自监督竞争神经网络（SSCNN）
• 3.6 注意力焦点的特征向量提取（SIFT方法）
• 3.6.1 SIFT概述
• 3.6.2 SIFT方法的四个步骤:
• 3.7 注意力选择系统在机器人上的应用:
• 3.7.1 基于注意力选择机制的目标跟踪
• 3.7.2 基于注意力选择的机器人自主导航
• 3.8 实验结果
• 3.8.1 注意力选择实验:随机选择感兴趣的物体
• 3.8.2 在有遮蔽物的情况下进行目标跟踪
• 3.8.3 不规则物体旋转的情况下进行目标跟踪
• 3.8.4 在光照变化的房间里跟踪一个杯子
• 3.8.5 机器人的自主导航
• 3.9 本章小结
• 第四章 带有遗忘的视觉记忆认知映射
• 4.1 视觉记忆的模型:
• 4.2 遗忘增量多层分类回归树（AIHDR）简介
• 4.2.1 AIHDR树的结构
• 4.2.2 AIHDR树的储存和取回行为:
• 4.2.3 AIHDR树的删除（遗忘）行为:
• 4.2.4 从AIHDR树中删除一个叶子节点:
• 4.3 AIHDR树性能测试
• 4.3.1 AIHDR树在平稳数据和非平稳数据上的表现:
• 4.3.2 AIHDR树在平稳数据和非平稳数据上的表现:
• 4.4 基于视觉记忆的注意力选择系统的工程应用
• 4.4.1 随机注意力选择并盯住感兴趣的物体
• 4.4.2 注意力选择机制在Motion-JPEG 2000压缩用的应用
• 4.5 本章小结
• 第五章 基于四元数傅立叶变换的时空显著图获取方法
• 5.1 残留谱显著性检测方法（简称SR）
• 5.2 利用相位谱来获得显著图
• 5.2.1 傅立叶相位谱的意义是什么?
• 5.2.2 PFT的方法简介
• 5.2.3 PFT与SR的比较实验
• 5.3 PQFT——时空显著图方法
• 5.3.1 建立一幅图像的四元数图像
• 5.3.2 利用PQFT来计算时空显著图
• 5.4 实验结果
• 5.4.1 如何来衡量显著图的好坏?
• 5.4.2 视频中感兴趣的目标检测
• 5.4.3 自然图像的目标检测
• 5.4.4 被白色噪声污染的自然图像中的目标检测
• 5.4.5 心理学图像中的目标检测
• 5.5 本章总结和讨论
• 附录:四元数的简单介绍:
• 四元数基本概念:
• 四元数的极数形式:
• 四元数的Cayley-Dickson形式与symplectic形式
• 四元数图像傅立叶变换:
• 第六章 多分辨率时空显著图检测方法及其在图像及视频编码中的应用
• 6.1 多分辨下的显著性检测方法:
• 6.2 衡量PQFT在预测人眼注意力点位置的性能:
• 6.3 多分辨率小波域注意力模型
• 6.4 本章总结和讨论
• 第七章 总结与展望
• 参考文献
• 攻读硕士期间发表的论文
• 致谢