基于点线特征的大基线图像序列三维重建技术研究

论文摘要

随着信息技术的迅猛发展，人们对三维模型及与之相关的需求越来越多。相对于传统几何造型技术和三维扫描设备，基于图像序列的三维重建技术具有成本低廉、操作简单、真实感强等优点，其所涉及的技术在虚拟现实、目标识别、图像检索、非接触测量以及影视动画等很多领域都有着重要的研究和应用价值，因此近年来成为计算机视觉和计算机图形学领域中的研究热点之一。本文研究的目的是基于点、线特征从大基线图像序列中重建目标场景的三维结构，恢复模型表面拓扑网格及纹理，并将重建结果应用于解决实际问题中。其中的关键技术主要包括大基线图像序列的特征点检测和匹配、射影重建、相机定标、欧氏重建以及模型网格和纹理的生成等。本文综合运用图像处理、计算机图形学、计算机视觉、模式识别、射影几何、最优估计理论等学科理论对相关问题展开研究。在理论研究和算法实践过程中，根据所研究的内容以及所要解决的问题，有针对性地提出了一些新思路和新算法，本文主要的创新点和贡献有：●研究并解决了大基线序列图像的特征点精确匹配问题。首先，研究了两幅图像中相应特征点邻域窗口之间的几何畸变和亮度变化模型，重点分析了具有仿射不变性特征用于图像匹配时，对相应特征点所造成的定位误差问题，从独特的角度给出了该误差的理论解析表达，在实验中证实了用仿射变换近似相应特征点邻域窗口之间单应映射的可行性，并推导出提高图像匹配特别是大基线图像匹配的精度所应采取的措施；在此基础上，提出了一种基于分步仿射迭代方法的大基线图像特征点匹配策略，即在相似变换的基础上通过快速仿射迭代对具有较大透视畸变的相应特征点邻域窗口进行矫正和匹配，同时补偿了在特征点检测阶段所产生的定位误差，大大提高了特征点匹配结果的精度。●提出一种基于近似相机内参数的三维欧氏重建方法。在分层射影几何理论的基础上，定量分析了传统射影重建相对于最终欧氏重建的射影畸变，并推导出减小该几何畸变的可行途径；充分利用现有数码相机的技术参数，提出一种基于近似相机内参数的三维准欧氏重建算法，以及在该准欧氏重建框架下对三维空间点进行精确求解的线性算法，并将其扩展到图像序列中，进一步根据多视点几何约束以及光束平差算法使最终结果收敛到精确的欧氏重建，避免了复杂而繁琐的自定标过程。虽然本文的准欧氏重建模型从本质上讲仍为射影重建，但实践证明其结果已经非常接近欧氏重建，从而保证了最终迭代过程的正确收敛，大大提高了现有三维重建算法的灵活性。●提出一种序列图像中线特征的三维欧氏重建方法。与传统基于特征点的重建策略不同，本文针对定标图像序列，将线特征作为三维重建的基本元素用于场景结构的生成。在提出图像中线特征的检测和精确定位方法之后，建立序列图像中相应线特征的对应关系，从而对线特征进行三维欧氏重建。主要贡献包括：用平均重投影几何误差作为线特征三角形法和光束平差法的目标函数，保证了重建结果的最优性；用Plucker坐标表示空间直线方程，提出对含噪声空间直线Plucker坐标施加双线性约束的解析方法，确保了直线方程的合法性；为保持迭代过程中参数之间的内约束，提出基于最少4参数的迭代优化算法，保证了迭代过程中良好的收敛稳定性。●设计了基于点、线特征对大基线图像序列进行三维重建的实现框架和实验系统，其中还包括基于重建的三维离散点、线等基本几何元素交互生成场景模型网格拓扑结构，以及从图像序列中自动提取和矫正模型表面纹理的方法，并进行了算法实现和系统集成，给出了相应的实验结果。●在本文三维重建算法实现和实验系统集成的基础上，对基于视觉手段的增强现实应用进行了相关的研究和实践。其中包括场景透视平面上二维虚拟对象(二维标识、文字等)的嵌入方法，以及真实场景图像中虚拟对象(三维图形)的真实感嵌入方法。最后对算法进行了实现，并给出了相应的实验结果。通过本文的研究工作，初步完成了视觉几何由理论走向应用的相关实践，进一步促进了计算机视觉和计算机图形学等相关学科的交叉融合，同时也为其它相关理论和实际应用打下了基础。

论文目录

• 目录
• 图目录
• 表目录
• 本文符号约定
• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题研究背景
• 1.1.1 课题研究的意义
• 1.1.2 问题的提出
• 1.2 国内外研究现状
• 1.2.1 相关工作
• 1.2.2 相关技术
• 1.2.3 主要困难及本文出发点
• 1.3 本文主要工作
• 1.4 本文主要结构
• 第二章 分层射影几何与成像模型
• 2.1 分层射影几何基本概念
• 2.2 二维射影空间
• 2.2.1 二维空间中基本概念和性质
• 2.2.2 二维分层重建
• 2.3 三维射影空间
• 2.3.1 三维空间中基本概念和性质
• 2.3.2 三维分层重建
• 2.4 空间直线的Plucker坐标表示
• 2.5 相机成像模型
• 2.5.1 小孔成像
• 2.5.2 图像的象素化
• 2.5.3 坐标系变换
• 2.5.4 成像过程
• 2.5.5 成像矩阵的几种表示形式
• 2.6 小结
• 第三章 大基线图像特征点检测与匹配
• 3.1 特征点检测
• 3.1.1 相关工作
• 3.1.2 检测算法的评价准则
• 3.1.3 本文检测算法
• 3.2 两幅大基线图像特征点匹配
• 3.2.1 对极几何关系
• 3.2.2 相似性度量准则
• 3.2.3 图像畸变模型及匹配困难
• 3.2.4 不同几何层次上的特征匹配策略
• 3.2.5 具有仿射不变性特征的定量分析
• 3.2.6 仿射变换矩阵的分解及其几何含义
• 3.2.7 基于分步仿射迭代模型的特征点匹配
• 3.2.8 两幅图像匹配实验结果
• 3.3 大基线序列图像匹配
• 3.3.1 三焦距张量
• 3.3.2 匹配过程
• 3.3.3 序列图像匹配实验结果
• 3.4 小结
• 第四章 点特征三维欧氏重建
• 4.1 相关工作
• 4.2 基于近似内参数的三维准欧氏重建算法
• 4.2.1 传统射影重建
• 4.2.2 两幅图像三维准欧氏重建
• 4.2.3 准欧氏重建的误差分析
• 4.2.4 序列图像三维重建
• 4.3 空间点坐标三维重建
• 4.3.1 基于最小代数误差的方法
• 4.3.2 基于最小几何误差的方法
• 4.4 光束平差法
• 4.5 实验结果及分析
• 4.5.1 仿真数据实验
• 4.5.2 真实图像实验
• 4.6 小结
• 第五章 线特征检测、匹配与三维重建
• 5.1 线特征检测和定位
• 5.1.1 检测算法描述
• 5.1.2 实验结果及分析
• 5.2 线特征匹配
• 5.2.1 相关工作
• 5.2.2 综合多约束的线特征匹配算法
• 5.3 线特征三维重建
• 5.3.1 基于最小重投影几何误差的线特征三角形法
• 5.3.2 双线性约束矫正的解析方法
• 5.3.3 线特征迭代优化算法
• 5.4 实验结果
• 5.4.1 仿真数据实验
• 5.4.2 真实图像实验
• 5.5 小结
• 第六章 三维重建实验结果及其应用
• 6.1 实现流程及重建结果
• 6.2 透视平面矫正及模型纹理获取
• 6.2.1 基于对应点估计矫正矩阵
• 6.2.2 分层估计矫正矩阵
• 6.2.3 模型表面纹理自动获取和矫正
• 6.3 增强现实应用
• 6.3.1 基于透视平面矫正的增强现实方法
• 6.3.2 基于三维重建的增强现实方法
• 6.4 小结
• 第七章 结论及进一步工作
• 7.1 主要研究成果及创新点
• 7.2 工作展望
• 7.2.1 设计合理的图像采样方式
• 7.2.2 加入智能手段
• 7.2.3 鲁棒性和效率的提高
• 7.2.4 基于重建理论的增强现实应用
• 7.2.5 算法及结构
• 致谢
• 参考文献
• 作者在学期间取得的学术和科研成果
• 文中术语英汉对照表
• 附录A 图像亮度的自相关矩阵
• 附录B 基本矩阵的性质及估计算法
• 附录C 平面椭圆曲线的规范化
• 附录D 三焦距张量的性质及估计算法
• 附录E Newton迭代和Levenberg-Marquardt迭代
• 附录F 三维旋转的表示方法
• 附录G 由点的投影矩阵推导空间直线的投影矩阵
• 附录H 将空间直线的Plucker坐标转化为欧氏坐标表示