基于图像绘制的遥操作虚拟环境构建技术研究

论文摘要

基于图像绘制是从二十世纪九十年代开始在世界范围内兴起的一门崭新学科，它被广泛应用于虚拟环境的场景构建等领域，是目前信息科学领域的一个研究热点。基于图像绘制的虚拟环境构建是计算机科学和信息科学的交叉和融合，它涉及到计算机图形学、计算机视觉、图象处理、模式识别、人工智能技术等学科的理论和成果。基于图像绘制技术突破了传统基于几何建模和绘制的理论架构，以摄像机拍摄的实景图像为基础，运用图像处理技术对序列实景图像进行拼接，将看上去孤立的图像组织成一幅能够反映全部场景信息的全景图。基于图像绘制的场景构建，避免了基于几何方法的烦琐建模过程，不需要场景的先验知识，直接通过图像变换就能生成具有照片真实感的场景，且绘制速度与场景的复杂度无关，因而特别适合未知环境的场景构建。 具有视觉临场感的机器人遥操作虚拟环境构建是虚拟现实技术在智能机器人领域的重要应用。机器人遥操作系统所面对环境常常都是未知的，因而本文采用基于图像绘制的方法来构建机器人遥操作虚拟环境的场景。为了全面理解基于图像绘制的虚拟环境构建技术，本文首先介绍了传统的基于几何绘制与基于图像绘制的理论基础和发展过程，综述了基于图像绘制技术的研究现状和发展方向。围绕如何把摄像机拍摄的实景序列图像进行拼接，组成一幅能够反映全部场景信息的全景图这一虚拟场景构建技术的核心，提出了几种全景图像的拼接方法，并实现了机器人全景环境漫游。 针对机器人运动时，摄像机在拍摄实景图像过程中可能出现的图像旋转、镜头伸缩和图像传输过程中存在干扰等因素。本文提出了一种基于相位相关的自适应图像拼接算法，本算法首先对原始图像进行边缘提取，得到二值化的边缘化图像，这样可以避免光照条件对图像的影响；对于待拼接的两幅图像存在明显的旋转角度和镜头缩放情况，本文将上述边缘化的图像进行对数极坐标变换，在对数极坐标域中旋转角度和缩放因子就变换成了两个位移量，这样就能方便地使用相位相关法来求得待拼接两幅图像之间的旋转角度和缩放因子，在笛卡儿坐标系中调整两幅图像，使两幅图像之间仅存在位移关系，这样就可以使用基于边缘化图像的相位相关法来实现两幅图像的拼接。 为了提高图像的拼接速度和质量，本文提出了一种基于图像特征角点的二次求精匹配算法，该算法利用角点所具有的旋转不变性和对光照不敏感的特点，首先采用SUSAN算子抽取待拼接两幅图像的特征角点；然后利用快速RANSAC算法，计算图像之间的单应性矩阵：把得到的初始特征角点对作为重叠区域图像中的运动点，引入KLT跟踪算法来精确定位特征角点对的位置，重新计算精确的单应性矩阵；最后对输入图像和参考图像分别采样，注入到一幅更大的图像中，完成图像的拼接融合。 在机器人遥操作虚拟环境构建中，在保证场景信息完整的情况下，使机器人传送的图像数量尽可能的少，并要求全景环境生成实时性好等特点。本文提出了一种基于图像灰度特征矢量和最大匹配度的全景图像拼接方法，该算法选取参考图像的一矩形区域作为匹配块，以矩形块边框的行列像素灰度差作为两个图像灰度特征矢量，在待匹配区域寻找相应的匹配块

论文目录

• 摘要
• Abstract
• 目录
• 插图目录
• 插表目录
• 1 概论
• 1.1 具有视觉临场感的机器人遥操作
• 1.1.1 研究背景
• 1.1.2 临场感遥操作技术
• 1.1.3 具有视觉临场感的遥操作虚拟环境
• 1.1.4 虚拟环境和虚拟遥机器人的建模
• 1.2 虚拟场景构建技术
• 1.2.1 基于几何建模与绘制的虚拟场景构建
• 1.2.2 基于图像绘制的虚拟场景构建
• 1.2.3 虚拟场景构建中相关学科的关系
• 1.3 基于图像绘制技术的研究现状
• 1.3.1 全光函数
• 1.3.2 视图插值
• 1.3.3 光流场
• 1.3.4 全景图像
• 1.4 论文的主要工作及组织
• 参考文献
• 2 IBR的理论及其关键技术
• 2.1 射影几何理论
• 2.1.1 仿射空间和射影空间
• 2.1.2 射影几何中的对偶关系
• 2.1.3 射影几何中的二次曲面和二次曲线
• 2.2 摄像机成像几何理论
• 2.2.1 坐标系统
• 2.2.2 摄像机成像模型
• 2.3 摄像机运动过程分析
• 2.4 图像间坐标变换
• 2.4.1 齐次坐标系统
• 2.4.2 坐标变换模型
• 2.5 IBR拼接的关键技术
• 2.5.1 图像配准技术
• 2.5.2 图像插值技术
• 2.5.3 图像合成技术
• 2.7 本章小结
• 参考文献
• 3 基于相位相关的自适应拼接算法
• 3.1 全景图像拼接概述
• 3.2 傅立叶变换及逆变换的原理
• 3.2.1 一维傅立叶变换
• 3.2.2 二维傅立叶变换
• 3.2.3 二维傅立叶变换的性质
• 3.3 基于相位相关的自适应图像拼接算法
• 3.3.1 透视投影变换模型
• 3.3.2 基于相位相关求解图像的初始投影变换矩阵
• 3.3.3 基于对数极坐标变换的相位相关拼接算法
• 3.3.4 图像投影变换矩阵的优化求解
• 3.3.5 基于相位相关的自适应拼接算法
• 3.4 图像的合成
• 3.5 图像融合
• 3.6 实验结果及分析
• 3.7 小结
• 参考文献
• 4 基于角点二次匹配的图像拼接算法
• 4.1 拼接图像中角点的检测
• 4.2 相邻图像中角点的匹配
• 4.3 图像投影变化模型估计
• 4.3.1 投影变换模型线性估计
• 4.3.2 基于RANSAC方法的参数估计
• 4.3.3 RANSAC算法实现
• 4.3.3 用KLT对单应性矩阵的求精
• 4.4 实验结果与分析
• 4.5 本章小结
• 参考文献
• 5 基于图像灰度特征矢量的全景图像拼接及漫游
• 5.1 基于图像灰度特征矢量的全景图像拼接
• 5.1.1 全景图像的折叠变换
• 5.1.2 基于图像灰度特征矢量的匹配
• 5.1.3 全景图像的灰度调整
• 5.1.4 全景图像的无缝拼接
• 5.1.5 实验结果及分析
• 5.2 基于柱面的实时漫游
• 5.2.1 摄像机焦距估计
• 5.2.2 柱面投影变换
• 5.2.3 柱面全景图的实时漫游
• 5.2.4 实验及分析
• 5.3 本章小结
• 参考文献
• 6 机器人遥操作虚拟场景构建
• 6.1 机器人遥操作环境下的运动模型
• 6.2 摄像机焦距变化对全景环境构建的影响
• 6.2.1 焦距变化时新像素点灰度值的确定
• 6.2.2 算法描述
• 6.2.3 实验结果
• 6.3 摄像机移动过程中视点变化对全景环境构建的影响
• 6.3.1 多形态变换的过程
• 6.3.2 前向转移过渡的多视点形态变换
• 6.3.3 横向转移过渡的多视点形态变换
• 6.3.4 一般转移过渡的多视点形态变换
• 6.4 本章小结
• 参考文献
• 7 总结与展望
• 7.1 工作总结
• 7.2 进一步研究展望
• 攻读博士学位期间发表的论文
• 攻读博士学位期间承担的科研项目
• 致谢