基于多摄像机系统的全景三维重建

论文摘要

全景三维重建是利用全景摄影技术拍摄得到的具有全方位视角的全景图像序列进行场景三维重建的方法,是三维重建理论的重要组成部分。由于相对较少的全景图像数据就可以覆盖待重建场景,全景三维重建可以有效地简化重建问题的规模并提高重建效率,尤其适用于大规模场景的重建。本文对全景三维重建的相关理论和方法进行了深入的研究,设计完成了基于球形摄像机模型的三维结构恢复算法,利用多摄像机系统拍摄生成的全景图像序列,实现了全景稀疏点云重建。首先,本文根据多摄像机系统拍摄生成全景图像的特点,采用了球形摄像机模型描述全景图像的投影关系,并且研究了从多摄像机系统中构建球形摄像机模型的方法以及球形全景图像的表达与存储方法。其次,研究了球形全景图像的特征提取与匹配算法。结合SIFT算法以及球面图像处理方法,实现了针对球形全景图像的球面SIFT算法,解决了球形全景图像的鲁棒特征点提取与匹配问题。再次,对球形摄像机模型下的多视图几何理论进行了研究,推导了球形摄像机模型下的两视图几何和三视图几何理论。阐述了球面对极几何、球面本质矩阵、球面单应性和球面三焦点张量等概念,并讨论了球面本质矩阵和球形摄像机模型下的结构计算方法,引入了球面对极误差和球面重投影误差的估计方法。最后,对基于球形摄像机模型的全景三维结构恢复算法进行了详细设计。研究了球形摄像机矩阵的恢复和基于球形摄像机模型的参数优化等方法。通过球面SIFT算法获得特征点跟踪信息,采用球面对极几何、球面捆集调整优化等算法实现了对球形摄像机矩阵的恢复以及三维场景的稀疏点云重建。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 全景三维重建概述
• 1.1.1 全景视觉简介
• 1.1.2 全景三维重建的意义
• 1.1.3 全景三维重建的难点
• 1.2 研究现状
• 1.2.1 全景图像特征点提取与匹配
• 1.2.2 全景三维结构恢复
• 1.3 本文研究内容及组织结构
• 1.3.1 研究内容及贡献
• 1.3.2 本文组织结构
• 第2章 球形摄像机模型构建原理与方法
• 2.1 全景图像的获取
• 2.1.1 全景图像的采集设备
• 2.1.2 全景图像的生成方法
• 2.2 球形摄像机模型的定义
• 2.2.1 一般摄像机模型
• 2.2.2 理想球形摄像机模型
• 2.3 从多摄像机系统中构建球形摄像机模型
• 2.3.1 构建球形摄像机模型
• 2.3.2 多摄像机系统的标定
• 2.4 球形全景图像的表达和存储
• 2.5 实验结果与分析
• 2.5.1 摄像机标定
• 2.5.2 球形全景图的表达
• 2.6 本章小结
• 第3章 球形全景图像的特征点提取与匹配算法
• 3.1 SIFT算法
• 3.1.1 SIFT算法的优势
• 3.1.2 SIFT算法原理
• 3.2 球面SIFT算法
• 3.2.1 理论背景
• 3.2.2 算法整体流程
• 3.2.3 球面DoG尺度空间的建立
• 3.2.4 极值点检测及选取
• 3.2.5 球面SIFT描述子的生成
• 3.3 实验结果与分析
• 3.4 本章小结
• 第4章 球形摄像机模型下的多视图几何理论
• 4.1 针孔摄像机模型下的多视图几何
• 4.1.1 两视图几何
• 4.1.2 三视图几何
• 4.1.3 结构计算
• 4.2 球形摄像机模型下的多视图几何
• 4.2.1 球形摄像机模型下的两视图几何
• 4.2.2 球形摄像机模型下的三视图几何
• 4.2.3 球面本质矩阵的计算
• 4.3 球形摄像机模型下的结构计算
• 4.3.1 问题描述
• 4.3.2 球形摄像机模型下重投影误差
• 4.3.3 球形摄像机模型下的线性三角形法
• 4.4 实验结果与分析
• 4.4.1 球面对极误差的选取
• 4.4.2 球面重投影误差的选取
• 4.5 本章小结
• 第5章 基于球形摄像机模型的全景三维结构恢复算法
• 5.1 基于球形摄像机模型的优化算法
• 5.1.1 RANSAC算法
• 5.1.2 球形摄像机的捆集调整
• 5.2 全景三维结构恢复算法设计
• 5.2.1 整体流程图
• 5.2.2 算法详细设计
• 5.3 实验结果与分析
• 5.4 本章小结
• 第6章 总结与展望
• 6.1 总结
• 6.2 展望
• 参考文献
• 致谢
• 攻读硕士期间发表的论文