基于图像的视图合成技术研究

论文摘要

本文研究基于图像的视图合成技术。视图合成(View Synthesis)是指通过两个或多个摄像机视点上所得到的同一场景的图像，直接计算出其它各个摄像机视点或视线方向上该场景的图像。虽然文献中有了不少算法，但仍然存在一些不足，例如目前视图合成技术主要存在的问题有实时性不强，中间视图真实性不够，需要手动建模等。为了解决这些问题，本文分析和讨论了基于图像的绘制技术的视图合成两方面的内容：一是基于立体匹配的视图插值，另一个是基于图像序列的视图合成。在基于立体视觉的图像合成中，存在两个难点：视点运动的局限性和立体匹配固有的模糊性。针对第一个问题，首先采用一种对视点任意运动都适应的图像校正算法，使任意运动的图像对转化为标准立体配置的图像对；其后，采用角点特征提取和三角形网格剖分、插值的方法完成了任意运动图像对的图像合成。针对第二个问题，提出了两种适合图像合成特殊应用的立体匹配算法：基于扫描线自适应分割的立体匹配和基于类树结构和二维DP优化的立体匹配算法。第一个算法，通过扫描线自适应分割保证了段内视差的平滑性，通过段内视差拟和以及假设验证法保证视差在垂直方向的平滑性。第二个算法首先将图像看作一个二维网格，图像的每一个像素点就是网格的一个节点，通过给网格节点指定特定的顺序关系和分割断开某些节点的联系，使图像网格变成一个类树的结构；其后采用二维DP优化算法，实现了基于类树结构的立体匹配。我们在基于图像序列的视图合成中提出了两个算法：一是基于图像学习的图像合成算法，二是基于TIP的图像序列重建法。基于图像学习的方法将生成中间视图表达为一个最大后验概率的问题。在弱定标的情况下，通过多极约束的原理，将深度域的最大后验概率计算问题转换到视差域，从原图像中学习获得最大后验概率，从而在不定标和不匹配条件下，可以从图像序列直接生成中间视图。基于TIP(Tour into the picture)的图像序列场景重建法可以认为是对TIP建模法的扩展。我们提出用曲面建模法代替TIP中的平面建模法，扩展了传统TIP建模法的适应范围。在对序列图像的每一幅都建模的基础上，我们通过模型拼接或者模型切换生成，建立有关图像序列场景的伪模型，然后实现了在伪模型内任意漫游。所提出的方法用于室内和室外场景的图像，实验结果证明了所提算法的有效性。

论文目录

• 目录
• 图目录
• 表目录
• 摘要
• Abstract
• 第一章 绪论
• 1.1 概述
• 1.1.1 视图合成
• 1.1.2 视图合成和图像变形
• 1.1.3 研究内容和目的
• 1.1.4 应用背景
• 1.1.5 基于图像的绘制
• 1.1.6 理论基础
• 1.2 视图合成的相关工作
• 1.2.1 三维建模法
• 1.2.2 基于图像的视图合成方法
• 1.2.3 基于立体匹配的方法
• 1.2.4 一些新的视图合成方法
• 1.2.5 视图合成问题研究的发展趋势
• 1.3 论文主要创新点和结构安排
• 第二章 图像校正和几何基础
• 2.1 图像校正概述
• 2.2 外极几何和基础矩阵
• 2.2.1 外极几何
• 2.2.2 带有方向的极线
• 2.2.3 基本矩阵的计算
• 2.3 校正
• 2.3.1 计算公共区域
• 2.3.2 计算极线的距离，保证图像的精度
• 2.4 实验结果
• 2.5 几何基础
• 2.5.1 摄像机模型
• 2.5.2 标准双目立体几何
• 2.5.3 视差与深度的关系
• 2.6 小结
• 第三章 任意运动图像对的视图插值
• 3.1 角点提取
• 3.1.1 角点定义及提取方法
• 3.1.2 Harris算法
• 3.1.3 SUSAN算法
• 3.1.4 融合的角点提取算法
• 3.1.5 实验结果及分析
• 3.2 角点匹配
• 3.2.1 进行相关运算确定匹配点集
• 3.2.2 反变换
• 3.2.3 三角化和插值
• 3.2.4 实验结果
• 3.3 小结
• 第四章 基于立体匹配的图像合成
• 4.1 立体匹配和图像合成
• 4.1.1 立体匹配和三维重建
• 4.1.2 立体匹配的准确度
• 4.1.3 真实的视图和正确的视图
• 4.1.4 无纹理区域（或者称为亮度不变区域）
• 4.1.5 部分遮挡问题
• 4.1.6 结论
• 4.2 立体匹配的建模
• 4.3 自适应分段的立体匹配
• 4.3.1 段的定义
• 4.3.2 多门限分割
• 4.3.3 段落的匹配
• 4.3.4 相似度的计算
• 4.3.5 段内视差计算
• 4.3.6 假设法除错
• 4.3.7 立体匹配实验和结果
• 4.3.8 插值实验结果
• 4.4 基于类树结构和二维 DP算法的立体匹配
• 4.4.1 二维 DP算法的可行性
• 4.4.2 二维 DP算法计算视差
• 4.4.3 代价函数的选取
• 4.4.4 实验结果
• 4.4.5 树结构和类树结构的比较
• 4.5 插值
• 4.5.1 遮挡处理
• 4.5.2 实验结果
• 4.6 小结
• 第五章 基于学习方法的图像合成
• 5.1 图像序列的极几何关系
• 5.2 弱定标条件下的图像合成
• 5.2.1 图像合成的建模
• 5.2.2从深度域到视差域
• 5.2.3 纹理先验概率
• 5.2.4 图像连续性和纹理的结合
• 5.3 算法实现
• photo（v）的最小值'>5.3.1 计算E_photo（v）的最小值
• 5.3.2 先验概率
• 5.3.3 最优化的问题
• 5.4 进一步提高算法的效率
• 5.4.1 多尺度和多分辨率
• 5.4.2 纹理块的聚类
• 5.5 实验结果
• 5.6 结论
• 第六章 基于 TIP的场景重建和漫游
• 6.1 TIP技术简介
• 6.1.1 预处理
• 6.1.2 建模
• 6.2 曲面 TIP建模
• 6.2.1 绘制
• 6.2.2 实验结果
• 6.3 基于 TIP的运动序列场景重建
• 6.3.1 未知路径序列的建模和漫游
• 6.3.2 触发模型切换法
• 6.3.3 实验结果
• 6.3.4 已知路径的序列建模和漫游
• 6.4 TIP在全景图漫游系统中的应用
• 6.4.1 柱面全景图内模型的切换
• 6.4.2 节点的切换
• 6.4.3 实验结果
• 6.5 纹理提取
• 6.5.1 光线映射法
• 6.5.2 透视变换法
• 6.5.3 实验结果
• 6.6 小结
• 第七章 总结
• 7.1 论文的主要贡献
• 7.2 今后的研究方向
• 致谢
• 参考文献
• 攻读博士学位期间发表的论文