从双目立体图像中恢复三维信息的研究 ——加入结构约束的半全局匹配算法的研究与实现

论文摘要

三维重建是计算机视觉、计算机图形研究中倍受关注的热点。而双目立体视图匹配是一种经典的三维重建方法,它通过比较在不同位置对同一场景拍摄的两幅照片找出其中匹配的场景点,从而根据场景点在两幅图像中不同的位移程度得到其相对于相机的距离（称为深度）,进而从二维图像信息中恢复三维场景的信息。双目立体视图匹配的应用十分广泛,如虚拟现实、文物保护、工业监控、数字娱乐等,同时,相对于其他三维重建的方法,双目立体视图匹配的设备要求、算法的时间复杂度以及空间复杂度较低,因此具有十分重要的研究价值。通过对双目立体视图匹配方法的分类、分析与比较,今后将出现如下的发展趋势和热点:更多地体现全局性、算法的高速性、对噪声的鲁棒性以及算法的通用性。因此,本文实现了几种具有发展前景的方法,并进行比较和改进,选择并实现一个具有较高匹配精度、同时具有较高的执行速度兼顾对噪声的鲁棒性的双目立体匹配算法,以满足实际应用的需要。近年来,双目立体视图匹配领域涌现出了许多优秀的算法。本文选择了三种具有代表性同时效率领先的算法进行实现:基于置信传播（BP）的对称模型,半全局立体视图匹配,以及基于mean-shift的图像分割的方法。通过对这三种算法的结果精度与执行速度进行比较与评估,我们最终选择了半全局的立体匹配方法作为本文改进和提高的基础。这是由于该方法的精度较为理想,并具有相较于其他两种算法巨大的速度优势;同时该算法还具有采用现代cpu的单指令多数据流技术大幅加速的能力,在对噪声的鲁棒性上也存在着优势。在研究的后半部分,本文针对半全局立体匹配存在的一些问题进行了一系列改进,这也是本文的创新点:1.针对在特定情况下算法由于规划路径不完全而引起的严重的深度赋值错误,本文提出了使用图像分割的方法获得场景的结构分割信息,通过初步的深度估算以及最小二乘法为每一个分割区域计算平面模型参数,以此作为场景的结构信息加入到基于点的匹配代价的计算中去,从而为匹配过程添加一个结构性的软约束。2.针对原算法存在的无法为遮挡和错误匹配区域提供可靠深度估算的缺陷,本文提出基于前面得到的场景结构信息来进行此类区域深度估算的方法,给出了可行的解决方案。3.针对结构性软约束存在的区域内部的平滑问题,同时为了避免深度边界的模糊化,本文结合前面得到的结构信息,通过对拟合过程的分析改进,引入了一种带有结构信息的快速二次曲面拟合方法。算法的结果表明,在不改变原半全局立体视图匹配算法的整体框架,并且保留其利用cpu单指令多数据流能力的前提下,本文所提出的方法成功地解决了规划路径不完全引起的深度赋值错误,为遮挡和错误匹配区域提供了可靠估算。因此相较于改进前的原算法,改进后的算法结果精度得到了大幅地提升,同时保留了原算法的高速性,继承了原算法对于噪声的鲁棒性。因此,改进算法具有广泛的应用价值与前途。

论文目录

• 摘要
• ABSTRACT
• 第一章 研究背景概述
• 1.1 研究背景
• 1.2 双目立体匹配的步骤
• 1.2.1 图像获取
• 1.2.2 摄像机的标定
• 1.2.3 场景匹配
• 1.2.4 三维重建
• 1.3 国内外研究现状
• 1.3.1 传统的双目立体匹配方法概述
• 1.3.2 基于赫尔姆霍兹互反律（Helmholtz Reciprocity）的方法
• 1.4 发展方向与本文目标
• 第二章 当前先进算法的实现、比较与选择
• 2.1 概述
• 2.2 BP（belief propagation）算法
• 2.2.1 BP 算法在立体匹配中的应用
• 2.2.2 对称的立体匹配模型
• 2.3 半全局立体匹配
• 2.3.1 基于点的匹配代价计算
• 2.3.2 匹配代价的聚合
• 2.3.3 一致性检查
• 2.4 基于图像分割的方法
• 2.4.1 原理与一般流程
• 2.4.2 基于mean-shift 的图像分割方法
• 2.5 三种算法的结果、比较及选择
• 2.5.1 结果与比较
• 2.5.2 分析与选择
• 第三章 加入结构约束的半全局立体匹配算法
• 3.1 存在的问题
• 3.2 一种结构性的软约束
• 3.2.1 基于颜色的分割
• 3.2.2 添加软约束
• 3.3 遮挡和错误匹配区域的深度估算
• 3.4 带有结构信息的快速二次曲面拟合
• 3.5 改进后的结果与分析
• 3.6 本章小结
• 第四章 全文总结
• 4.1 主要工作与结论
• 4.2 研究展望
• 附录
• 参考文献
• 致谢
• 攻读硕士学位期间完成的论文