面向三维可视通讯的立体匹配方法

论文摘要

立体视觉是计算机视觉的核心研究领域。经过几十年努力，视图几何关系的研究取得突破，理论逐步完善，方法逐渐成熟，立体匹配的研究也取得很大进展，人们将视差场描述为马尔科夫随机场，将立体匹配表述为像素标号问题，采用图割算法和置信传播算法估计视差场，取得很好的实验结果。近年来，出现了三维可视通讯、基于图像的绘制等新兴应用领域，这些领域对立体匹配提出新的要求。本文针对这些新兴应用领域，围绕质量和效率两个要素，以马尔科夫随机场为描述工具，以图割算法为求解工具，对立体匹配问题开展研究。主要贡献包括：1．提出像素标号的二分法。首先将整个标号集赋给每个像素，然后将标号集一分为二成为两个子标号集并舍弃其中一个子集，如此循环直至标号集仅含一个标号为止。通过这种方式将多值标号问题转换为一系列二值标号问题，从而提供了NP难问题的一种近似解法。进一步解释上述标号过程，并据此构造优化目标函数，证明所构造目标函数可以利用图割算法进行优化。在此基础上，设计像素标号的置位算法，算法复杂度为log2n（n是标号数目），而目前同类算法中效率最高的扩张算法（α-expansion algorithm）复杂度为n*k（k＞1）。应用置位算法求解立体匹配问题并与扩张算法进行比较，结果表明：在匹配质量相当的基础上，二分法具有很强的效率优势。像素标号的二分法对立体图像没有特殊要求，方法具有很强通用性，而且还可以应用于图像恢复、运动估计等领域。2．提出双层立体匹配方法。回顾和分析现有分层立体匹配方法，针对前景和背景彼此分离并各自连续的场景，提出首先确定前景层视差场和背景层视差场，然后组合成为整体视差场的匹配方法，从而将整个匹配分解为一系列二值标号问题，避免模型拟合与迭代改善。在此框架下，进一步给出融合颜色、对照度和形状等信息划分前景区域和背景区域的目标函数。实验结果表明：双层立体匹配方法大大改善了匹配质量。与分层动态规划方法比较的结果表明：双层立体匹配方法在质量和效率方面都具有一定优势。3．基于上述两个方法，给出三维可视通讯系统中凝视校正和前景背景分离两个关键技术问题的解决方案和实现技术。特别地，提出基于双层表达的视图合成算法，提出基于像素标号二分法的前景背景分离算法。进一步给出实验结果，表明方法的有效性。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 立体视觉的研究历史
• 1.1.1 立体视觉机制
• 1.1.2 立体视觉模拟
• 1.1.3 立体视觉应用
• 1.2 立体匹配的研究现状
• 1.2.1 视图几何关系
• 1.2.2 特征提取
• 1.2.3 特征匹配
• 1.2.4 稠密匹配
• 1.2.5 马尔科夫随机场
• 1.3 立体匹配的新兴应用领域
• 1.3.1 基于图像绘制
• 1.3.2 三维可视通讯
• 1.3.3 新兴应用的特点
• 1.4 本文的研究内容和结构安排
• 1.4.1 本文的研究内容
• 1.4.2 本文的结构安排
• 第二章 立体匹配理论基础
• 2.1 立体匹配的几何基础
• 2.1.1 对应与三角测量
• 2.1.2 极线几何
• 2.1.3 立体校正
• 2.2 对应问题的求解
• 2.2.1 特征对应与稠密对应
• 2.2.2 视差场与深度图
• 2.2.3 基本假设
• 2.3 稠密对应算法的四个计算步骤
• 2.4 马尔科夫随机场
• 2.4.1 图模型
• 2.4.2 马尔科夫随机场与吉布斯随机场
• 2.4.3 马尔科夫随机场的贝叶斯标号
• 2.4.4 能量极小化问题的求解方法
• 2.5 像素标号问题与立体对应问题
• 2.5.1 像素标号问题
• 2.5.2 立体对应作为像素标号问题
• 2.6 小结
• 第三章 像素标号的二分法
• 3.1 二值标号与多值标号
• 3.1.1 二值标号
• 3.1.2 多值标号
• 3.2 利用两类分类实现多值标号
• 3.2.1 现有标号方法的缺陷
• 3.2.2 标号与分类
• 3.2.3 分类过程的概率解释
• 3.3 能量函数的构造和极小化
• 3.3.1 数据项
• 3.3.2 光滑项
• 3.4 置位算法
• 3.5 实验结果
• 3.5.1 匹配过程
• 3.5.2 匹配质量
• 3.5.3 匹配效率
• 3.6 小结
• 第四章 双层立体匹配方法
• 4.1 分层立体匹配
• 4.1.1 方法回顾
• 4.1.2 方法剖析
• 4.1.3 方法优缺点
• 4.2 双层立体匹配
• 4.2.1 问题表述
• 4.2.2 前景层匹配和背景层匹配
• 4.2.3 前景层与背景层组合
• 4.2.4 前景和背景区域的相互影响
• 4.2.5 与现有方法的比较
• 4.3 多线索信息融合
• 4.3.1 颜色信息
• 4.3.2 对照度与形状信息
• 4.3.3 融合模型
• 4.4 算法框架
• 4.5 实验结果
• 4.5.1 匹配过程
• 4.5.2 匹配质量和效率
• 4.5.3 多线索信息融合的作用
• 4.6 小结
• 第五章 三维可视通讯关键技术研究
• 5.1 三维可视通讯关键技术简介
• 5.2 凝视校正
• 5.2.1 问题背景
• 5.2.2 解决方法
• 5.2.3 实验结果
• 5.3 前景背景分离
• 5.3.1 问题背景
• 5.3.2 解决方法
• 5.3.3 实验结果
• 5.4 小结
• 第六章 总结与展望
• 6.1 本文贡献
• 6.2 进一步工作
• 6.3 展望
• 参考文献
• 攻读博士学位期间发表论文列表
• 致谢