基于认知的立体视觉技术研究

论文摘要

视觉认知作为脑科学及认知科学分支之一,主要的研究工作就是探索大脑内部的视觉信息处理是在何处如何进行的。从事模式识别的人更加关心大脑是如何处理视觉信息的,他们利用神经生理学的最新研究成果建立起了基于认知的机器视觉,主要研究在视皮层视差检测中的眼动机制和视觉注意机制。到目前为止,这两种算法视皮层视差检测机制和视觉注意机制都是处理各自领域的,并没有真正的交叉融合起来,这两者的融合是立体视觉认知中需要进一步解决的问题。本文针对以上问题进行了探索和研究,在借鉴前人的研究成果基础上提出新方法,并通过实验证明了所提方法的有效性。论文的主要工作包括以下几个方面:(1)将视皮层视差检测机制和视觉注意机制放在同一个框架下来研究。视皮层视差检测机制的研究目标是通过认知的计算模型从二维图像中获取三维环境信息,而视觉选择机制则研究的是如何利用物体与周围环境的颜色,形状等信息模拟主体在海量的视觉信息中视觉焦点的提取和转移。本文通过分析两者间内在联系和相互关系,并将其统一至同一框架中进行研究。然后结合亮度,颜色,方向等特征引导的自下而上的视觉注意计算模型来提取有意义的物体信息并把信息反馈到视差检测模型,对视差检测模型中加以指导。(2)提出视皮层视差检测机制中置信点扩散算法。认知神经科学指出视皮层视差检测机制中位置差和相位差同时存在,这为视差能量模型理论提供了支持。本文结合了视皮层视差检测的最新研究成果和传统视差理论的约束条件,以图像平移模拟眼动机制实现位置差检测的计算模型,使用一维Gabor滤波器提取相位来实现相位差的计算模型,最后通过概率学的内容,对眼动过程中提取的所有的深度加以判定和选择生成视差图。并在视皮层视差检测机制中融入了置信点扩散的算法,对生成的视差信息加以判断和修订。实验结果表明置信点的提出可以降低误匹配率。(3)视觉注意下的眼动机制。在传统的视皮层视差检测机制中,并没有考虑眼动机制的约束和限制,传统的图像平移包括了整个视差可能出现的范围,没有发挥大脑的能动性。结果造成了计算量大、视差信息臃肿等缺点。本文利用提取的视觉注意焦点对眼动机制加以控制,在眼动的过程中利用视差能量模型检测视觉焦点的匹配结果,从而大大的减少了匹配的计算量。(4) BPA算法在重建三维场景中的使用。BPA算法是一种在三维空间建立标准化三角网的算法,算法有着高效性和鲁棒性,广泛的应用在人脸重建等领域。本文把这种算法的应用范围加以扩展,在场景重建中使用了这种算法。结果表明,该算法在场景重建中也有着很高的可靠性和有效性,完全可以满足场景重建的需要。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 计算机视觉的研究背景及意义
• 1.2 立体视觉关键技术
• 1.3 基于认知的计算机视觉
• 1.3.1 视皮层细胞的视差检测机制
• 1.3.2 视觉选择机制
• 1.3.3 认知中两种机制共同研究的可行性和必要性
• 1.4 本文主要工作及内容安排
• 第2章 传统立体匹配的概念及算法
• 2.1 立体匹配的分类
• 2.2 立体匹配中的约束算法
• 2.3 视差和视差图
• 2.4 局部匹配算法
• 2.4.1 相关研究
• 2.4.2 相似性度量算子
• 2.4.3 匹配窗口的选择
• 2.5 相位匹配
• 2.6 小结
• 第3章 视皮层中的立体视觉信息处理
• 3.1 视觉通路中的立体视觉信息处理
• 3.1.1 视觉通路
• 3.1.2 感受野
• 3.2 视差检测细胞的编码方式
• 3.3 视差能量模型
• 3.4 眼动机制
• 3.5 贝叶斯后验估计
• 3.6 能量模型中的置信点选取以及视差图的生成
• 3.7 小结
• 第4章 基于视觉注意的视差机制
• 4.1 引言
• 4.2 视觉注意机制与视觉选择注意计算模型的研究
• 4.2.1 视觉注意机制
• 4.2.2 视觉选择注意计算模型
• 4.3 视觉特征的多尺度空间表示
• 4.4 基于自下向上的视觉注意模型
• 4.4.1 亮度特征图
• 4.4.2 颜色特征图
• 4.4.3 方向特征
• 4.4.4 低层特征显著图
• 4.5 多特征图整合策略
• 4.5.1 直接相加法
• 4.5.2 有监督的学习法
• 4.5.3 全局加强法
• 4.6 视觉注意显著图
• 4.7 注意焦点提取和转移
• 4.8 基于视觉选择机制的立体匹配
• 4.9 小结
• 第5章 三维重建
• 5.1 引言
• 5.2 求视差图中各点的三维坐标
• 5.3 三维重建的预处理计算
• 5.3.1 中值滤波
• 5.3.2 亚象素差值
• 5.4 建立三角网
• 5.5 实验结果
• 5.6 小结
• 第6章 总结与展望
• 6.1 论文总结
• 6.2 研究展望
• 致谢
• 参考文献
• 附录