基于几何不变量的视觉计算

论文摘要

随着计算机智能化的发展越来越迅速,计算机也开始像人一样有了可以观察的眼睛,它们将摄像机捕捉到的画面读入到内存中,然后对画面进行各种各样的处理,比如图像中的特定目标检测,特定目标识别和特定目标跟踪等等,这就形成了这些年来最热门的研究领域之一——计算机视觉。而在计算机视觉研究领域中,图像匹配、目标识别受到广泛关注。比如在一些主动视觉系统中,通常需要多个代理对同一场景中的感兴趣目标一起进行处理,以提高系统智能分析感兴趣目标的能力。这种情况下多视图图像匹配则是系统中的核心算法。但主动视觉系统的视场角一般较大,通常在宽基线成像模型下采集到多个视图,视间显著的仿射畸变增加了图像匹配问题的复杂性。同时,主动视觉系统以最佳视角观察目标并保持目标在图像平面的中心位置基本不变,因此摄像头需做实时的姿态调整,由此导致的视间几何关系变化进一步加深了匹配问题的解决难度。针对这样一种系统需要,本文引出了几何不变量的概念。几何不变量描述的是图像中基于像素的本质特征,它能够在剧烈的图像变换条件下保持自身的不变性,并且它要有容易被检测到的特征载体,这两个条件是图像匹配算法能够利用几何不变量进行成功匹配的保证。本文正是在几何不变量的基础上进行了宽基线图像匹配算法的研究以及感兴趣目标对应技术的研究。首先,本文对几何不变量应用的必要性及已有的几何不变量方法进行了全面的综述,指出应用在特定的宽基线条件下的图像匹配需要怎样的几何不变量。其次,本文对基于几何不变量的宽基线图像匹配的整个算法流程进行详细分析与讨论,研究了从特征提取,特征描述,特征匹配到生成多视几何关系每个部分的算法选择及适用性,并在已有的最佳特征提取算法MSER及最佳特征描述算法SIFT基础上创新性地提出了将这两种算法结合的方法以形成更鲁棒高效的图像匹配结果。实验证明,这种结合与叠加的方法可以获得更准确的匹配点对以及更准确的视间几何关系。最后,本文在几何不变量的基础上提出了一种新的解决感兴趣目标对应问题的方法——多外极线约束法。它弥补了以往基础矩阵法与单应矩阵法的缺陷,能够更适用于实时视觉系统,经过实验证明,它能够生成十分准确的一对一对应的感兴趣目标,并且不需要借助任何附加的对图像内容进行搜索的过程,鲁棒高效。基于几何不变量的视觉计算应用范围非常广,本文也提出了下一步的研究方向。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.2 本论文的研究背景和意义
• 1.2.1 基于几何不变量的视觉计算的应用
• 1.2.2 本论文的研究意义
• 1.3 本论文的研究内容及成果
• 1.3.1 本论文的主要研究内容
• 1.3.2 本论文的创新和成果
• 第二章 几何不变量
• 2.1 几何不变量的研究背景
• 2.1.1 拍摄角度的变化
• 2.1.2 光照条件的变化
• 2.1.3 不变量研究的必要性
• 2.2 几何不变量
• 2.2.1 图像对之间的几何变换
• 2.2.2 几何不变量的具体形式
• 2.3 本章小结
• 第三章 基于几何不变量的宽基线图像匹配
• 3.1 图像匹配的研究历程
• 3.2 基于几何不变量的特征提取
• 3.2.1 SIFT 算法中尺度不变的特征提取
• 3.2.2 MSER 特征区域的提取
• 3.3 基于几何不变量的特征描述
• 3.3.1 SIFT 特征描述子
• 3.3.2 MSER 区域特征与SIFT 特征描述子的结合
• 3.4 SIFT 特征描述子的匹配
• 3.4.1 特征描述子的匹配策略
• 3.4.2 特征描述空间的搜索方法
• 3.5 图像对之间基本几何关系的计算
• 3.5.1 外极几何与基础矩阵
• 3.5.2 基础矩阵的计算方法
• 3.5.3 一种特殊的几何关系——单应矩阵
• 3.6 实验结果与分析
• 3.6.1 实验背景介绍
• 3.6.2 特征提取实验
• 3.6.3 特征描述与特征匹配实验
• 3.7 本章小结
• 第四章 基于几何不变量的感兴趣目标的对应技术
• 4.1 已有的一些对应技术的缺陷
• 4.1.1 单应矩阵感兴趣目标对应法
• 4.1.2 基础矩阵感兴趣目标对应法
• 4.2 多外极线约束法的提出
• 4.2.1 生成多外极线的外极几何理论分析
• 4.2.2 尺度空间预变换金字塔的构造
• 4.2.3 多外极线的生成
• 4.2.4 多外极线约束法
• 4.3 实验结果与分析
• 4.4 本章小结
• 第五章 总结与展望
• 参考文献
• 致谢
• 攻读硕士学位期间已发表的论文