增强现实中的虚实配准方法研究

论文摘要

增强现实(Augmented Reality简称AR)技术是近年来的一个研究热点,有着广泛的应用前景。它是对现实世界的补充,使得虚拟物体从感官上成为周围真实环境的组成部分。与传统的虚拟现实(Virtual Reality,简称VR)不同,增强现实只是实现对现实环境的补充而不是完全替代现实环境。增强现实技术增强了用户对现实世界的感知能力和与现实世界的交互能力。虚实配准(三维注册)是任何增强现实系统所必须解决的关键问题。它是指系统应该能够实时精确的计算摄像机相对于真实世界的位置和姿态,以便将虚拟场景正确的安置到它应所处的位置上。基于计算机视觉的三维注册方法以其精确性高、硬件成本低廉等特点已经引起越来越多研究人员的关注。本文针对当前基于计算机视觉的三维注册技术研究现状,吸取了计算机视觉、多视图几何、非线性优化理论的最新成果,围绕三维注册中的非定标配准方法、基于标识与平面自然特征相结合的注册以及基于多平面结构自然特征的虚实注册等技术内容展开研究与实践,目标旨在提高增强现实系统可用性的同时最大限度保证注册精度和系统实时性。本文的主要研究工作如下:(1)针对现有基于已知标识的三维注册系统中,要求用户必须事先确定摄像机内部参数的问题。设计一种基于实时定标策略的虚实配准方法,使得系统能够在运行过程中自动求取摄像机内参,提高了三维注册系统的精确性。(2)针对当前基于标识的开发平台在标识部分遮挡情况下无法完成三维注册问题,设计一种基于标识角点与全局单应性矩阵相结合的三维注册方法,减小帧间积累误差,增强了系统的健壮性与可用性。(3)设计一种综合利用标识与平面自然特征的三维注册技术,在标识全部被遮挡情况下利用标识周边区域的平面自然特征点来完成注册,可以直接改进现有基于标识的三维注册方法的健壮性和可用性。(4)分析当前各种基于自然特征的三维注册技术的优缺点,提出一种能够利用待注册场景中的多平面结构来完成注册的新方法。通过分析不同平面与视线的夹角不同以及视点与不同平面间的距离不同对最终计算结果的影响,提出一种有效的融合策略,可以较大幅度的减小抖动问题。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 课题的目的和意义
• 1.2 增强现实简介
• 1.2.1 增强现实与虚拟现实的关系
• 1.2.2 增强现实的应用领域
• 1.2.3 增强现实的支撑技术
• 1.3 基于计算机视觉的虚实配准技术研究现状
• 1.4 本文的主要工作和组织结构
• 2 理论背景与数学基础
• 2.1 摄像机成像模型
• 2.1.1 坐标系定义
• 2.1.2 坐标系变换
• 2.2 畸变与摄像机定标
• 2.2.1 畸变模型
• 2.2.2 摄像机定标
• 2.3 两视图几何与基本矩阵
• 2.3.1 极线几何概念
• 2.3.2 极线几何的数学描述
• 2.4 最小二乘优化技术
• 2.4.1 奇异值分解法
• 2.4.2 非线性最小二乘优化
• 2.5 本章小结
• 3 基于非定标策略的虚实配准方法研究与实现
• 3.1 非定标虚实配准方法的必要性
• 3.2 坐标变换关系与平面间单应性矩阵
• 3.3 标识识别与追踪
• 3.3.1 图像阈值分割
• 3.3.2 连通域分析
• 3.3.3 四边形选取
• 3.3.4 区域标准化和模板识别
• 3.4 计算单应性矩阵
• 3.5 求解摄像头内参及注册矩阵
• 3.6 实验结果分析
• 3.6.1 算法运行效果
• 3.6.2 精确性
• 3.7 本章小结
• 4 标识遮挡情况下的虚实配准方法研究
• 4.1 问题的提出与分析
• 4.2 基于标识内部角点追踪的虚实配准方法
• 4.2.1 算法设计思想与工作流程
• 4.2.2 特征点检测与匹配
• 4.2.3 利用RANSAC 计算单应性变换
• 4.3 基于标识与平面自然特征相结合的虚实配准方法
• 4.3.1 KLT 特征点提取方法
• 4.3.2 改进的特征点追踪策略
• 4.3.3 注册流程
• 4.4 实验结果
• 4.5 本章小结
• 5 基于多平面自然特征的虚实注册方法
• 5.1 问题的引入及算法设计思想
• 5.2 自然特征点的三维重建
• 5.2.1 利用本质矩阵计算摄像机外参
• 5.2.2 特征点三维重建
• 5.3 建立平面坐标系与世界坐标系
• 5.4 基于分类的特征点匹配策略
• 5.5 合成三维注册矩阵
• 5.6 实验结果分析
• 5.7 本章小结
• 6 总结与展望
• 6.1 本文总结
• 6.2 展望
• 致谢
• 参考文献
• 附录1 攻读学位期间发表的论文目录