增强现实中基于视觉和惯性传感器的混合跟踪研究

论文摘要

增强现实(Augmented Reality)是在虚拟现实(Virtual Reality)基础上产生的一门新的计算机应用与人机交互技术,通过跟踪用户在现实场景中所处的位置,将计算机生成的图形图像以及声音等虚拟信息叠加在用户感知的真实世界之中,利用辅助的虚拟信息增强用户对真实场景的感知能力。其中跟踪配准技术在增强现实系统中起着至关重要的作用,它通过获取用户相对于真实场景的姿态角和位置信息,从而将虚拟信息和真实场景进行虚实配准。在基于标志物的视觉跟踪系统中,本文对真实场景中标志物的选取和识别、摄像机标定、以及虚实物体配准等相关问题进行了论述和实现。通过实验分析表明:当摄像机移动过快或者标志物被遮挡时,基于视觉的跟踪技术存在跟踪失效的问题。针对以上问题,本文采用一种基于视觉和惯性传感器数据融合的方法,解决当视觉传感器失去效用时无法获取其相对于真实场景中标志物的姿态角和位置信息问题。该方法在完成视觉和惯性传感器之间固定6D姿态标定之后,分别建立姿态角和位置的时间动态模型,应用非线性卡尔曼滤波器(EKF)和离散卡尔曼滤波器(DKF),在摄像机短时失去效用时分别对视觉传感器相对于标志物的姿态角和位置进行预测和修正,以便实现实时虚实配准。通过一系列6D信息数据和实验效果图对比看出,该方法不仅改善了基于视觉跟踪的鲁棒性与快速性,同时提高了基于惯性跟踪的精度。最后,在基于AR的设备维护系统中分别引入单纯视觉跟踪和基于视觉和惯性的混合跟踪技术,通过二者实验效果图和实验数据的对比可以看出,基于视觉和惯性的混合跟踪技术在一定程度上解决了基于视觉跟踪时由于摄像机移动过快或者标志物被遮挡时无法实时进行虚实配准的缺陷,获得较好的实验效果。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 增强现实概述
• 1.2 课题背景
• 1.2.1 跟踪配准技术要求
• 1.2.2 跟踪配准技术发展和应用
• 1.3 本文的主要工作与论文结构
• 第二章 基于标志物的视觉跟踪系统
• 2.1 标志物识别
• 2.2 虚实配准
• 2.3 基于视觉跟踪技术的实验测试结果
• 2.4 本章小节
• 第三章 视觉和惯性混合跟踪的研究
• 3.1 理论背景
• 3.1.1 卡尔曼滤波
• 3.1.1.1 卡尔曼滤波器
• 3.1.1.2 非线性扩展卡尔曼滤波器
• 3.2 三维空间姿态角的表示形式
• 3.2.1 欧拉角
• 3.2.2 四元数
• 3.2.3 3D旋转矩阵
• 3.3 摄像机和惯性传感器的标定
• 3.4 动态模型的建立
• 3.4.1 基于EKF姿态角的动态模型
• 3.4.2 基于DKF的位置估计算法
• 3.5 混合跟踪系统框架
• 3.6 混合跟踪的相关实验
• 3.6.1 实验相关设备
• 3.6.2 实验结果
• 3标定结果'>3.6.2.1 摄像机和InertiaCube³标定结果
• 3.6.2.2 混合跟踪实验结果
• 第四章 混合跟踪在基于AR的设备维护系统中的应用
• 4.1 基于AR的设备维护系统
• 4.2 基于视觉跟踪技术的实验系统及其测试结果
• 4.3 基于混合跟踪技术的实验系统及其测试结果
• 第五章 总结与展望
• 5.1 总结
• 5.2 展望
• 致谢
• 参考文献
• 作者攻硕期间取得的成果