大视场视频全景图拼接方法研究

论文摘要

视频图像拼接技术是将视频序列图像转化为一幅包含该序列所有信息的大视场、宽视角的全景图像,解决了因摄像设备限制而存在的拍摄角度小、无法全景观测的问题。视频拼接技术在民用、遥感、海底探测方面都有着广泛的应用前景。如在海洋勘探方面,由于需要实时对全景进行观测并处理,单纯依靠摄像机获取的小镜头视频信息很难直观的表示全景信息;遥感影像中高分辨率图像的获取同样需要拼接建立大面积全景图像;民用方面,医疗中显微影像观察以及虚拟现实等也需要大视角全景图像。目前国内外对视频拼接方法展开了诸多研究,但在快速性和准确性方面仍然不能满足实际应用要求。因此,有必要根据实际应用背景,进一步研究探索更加准确快速的视频拼接方法。为此,本文分别对摄像机以一维和二维方式扫描时,彩色视频图像快速、准确的拼接方法进行了研究,完成的主要工作如下:(1)摄像机一维方式扫描时视频图像拼接方法研究针对目前算法中易存在的误差积累问题展开研究,提出一种当前帧到全景图像的拼接方法。通过直接寻找当前帧与全景图像之间的重叠区域,对此重叠区域内的配准特征点进行运算,直接求取当前帧到全景图像的变换参数,避免了传统算法中的矩阵连乘运算,因此避免了误差快速积累;图像配准时,采用相位相关法指导特征点提取及配准,避免了搜索算法在非重叠区域运算产生的时间浪费,提高了运算效率,满足实时处理需求;并利用估计的平移参数及刚性模型参数进行两次误匹配去除,避免了局部运动对全局运动的影响,提高了算法的准确度,从而实现准确、快速、鲁棒的一维视频拼接。(2)摄像机二维方式扫描时视频图像拼接方法研究通过对二维扫描方式下视频中各帧的相邻特点进行研究,提出了一种时间空间重叠区域相结合的二维拼接算法。由于二维拼接时视频序列中,当前帧不仅与时间轴上相邻的前后帧有重叠区域,并且与序列中其他帧也可能存在重叠,因此我们将与当前帧存在重叠的时间相邻帧和空间相邻帧结合起来考虑,对两部分的配准点一起运算求取当前帧到全景图像的变换参数,无需进行全局优化,算法简单并且不需要进行大量数据存储,克服了目前算法繁琐耗时的缺点,实现了准确、快速、鲁棒的二维拼接。实验结果表明:对摄像机沿任意路径拍摄的视频序列,本文提出的算法都能够准确、快速、鲁棒地进行视频图像拼接,适用于对于大面积场景的实时观测。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究的背景意义
• 1.2 视频图像拼接技术的研究现状
• 1.2.1 视频图像拼接技术的研究现状
• 1.2.2 图像配准技术的研究现状
• 1.3 本文主要研究工作
• 1.4 本文的组织结构
• 2 视频图像拼接技术综述
• 2.1 引言
• 2.2 全景图生成原理及特点
• 2.3 视频拼接技术应用领域
• 2.4 图像拼接基础知识
• 2.4.1 常用坐标系统
• 2.4.2 摄像机的运动形式
• 2.4.3 图像的几何变换模型
• 2.4.4 重采样
• 2.5 本章小结
• 3 一维扫描下全景图像拼接方法研究
• 3.1 引言
• 3.2 图像特征点提取
• 3.2.1 彩色图像灰度化
• 3.2.2 特征点提取算法
• 3.2.2.1 图像特征介绍
• 3.2.2.2 SUSAN 算子
• 3.2.2.3 MIC 算子
• 3.2.2.4 Harris 算子
• 3.2.2.5 几种算子的实验比较
• 3.3 特征点配准
• 3.3.1 相位相关配准法
• 3.3.2 基于相位相关指导的配准方法研究
• 3.3.3 误匹配初步去除
• 3.3.4 实验结果
• 3.4 图像变换与镶嵌
• 3.4.1 图像变换
• 3.4.2 全景图拼接算法实现
• 3.4.2.1 传统算法-帧到帧拼接
• 3.4.2.2 本文算法-帧到全景图拼接
• 3.5 图像融合
• 3.5.1 渐入渐出融合
• 3.5.2 多分辨率融合
• 3.6 实验结果分析及结论
• 4 二维扫描下全景图像拼接方法研究
• 4.1 引言
• 4.2 线图优化算法
• 4.3 本文提出的算法
• 4.3.1 二维扫描方式与一维扫描方式的对比
• 4.3.2 本文时空结合算法具体实现
• 4.3.3 实验结果分析
• 5 全文总结及进一步工作
• 参考文献
• 致谢
• 个人简历
• 发表的学术论文