视频图像拼接技术研究

论文摘要

视频图像拼接技术是视频应用领域研究的一个热门课题,可广泛应用于全景图生成、双目机器人应用等多个方面。本文主要针对三类视频图像序列拼接应用进行了研究：针对仅存在平移变换关系的视频图像序列,本文研究了一种基于频域的相位相关方法。论文首先介绍了相位相关方法的原理和利用这种方法实现视频拼接的算法流程,然后通过实验证明该方法适用于帧与帧间有较大重叠区域的视频序列,并且允许视频中存在少量小的运动物体。在此基础上设计实现了适用于小平移视频序列的实时拼接软件。针对在不同的视角位置同时采集得到的双实时视频图像序列,本文研究了两种基于点特征的拼接技术。论文首先介绍了Harris角点和SIFT算子的原理,然后阐述了基于点特征的双摄像头拼接技术的各个环节,包括特征点匹配、RANSAC去除误匹配点对、透视变换矩阵模型参数计算、插值处理和融合等。本文比较了几种图像的融合方法,采用了一种自动调节亮度值和加权融合方法,消除了图像拼接后可能出现的拼接缝隙和颜色过渡不自然的现象。由于Harris角点易受噪声影响,本文提出了一种投票机制的改进方法,增强了Harris角点定位的准确性。本文最后搭建了基于DirectShow的双摄像头采集平台、设计实现了基于Harris角点和SIFT算子两种点特征的双摄像头实时视频拼接程序,前者适用于摄像机采集的视频图像存在平移、旋转的情况,后者适用于存在平移、旋转和尺度缩放的情况。本文最后针对低分辨率图像序列,研究了基于SIFT算子的拼接问题,并将之应用于手机连续抓拍文本序列图像的拼接。

论文目录

• 摘要
• Abstract
• 目录
• 1 绪论
• 1.1 图像拼接技术研究目的和应用前景
• 1.2 图像拼接技术分类及研究现状
• 1.3 本文的主要研究工作和内容安排
• 2 图像拼接技术及开发平台简介
• 2.1 计算机视觉中常用的三种坐标系
• 2.1.1 齐次坐标和非齐次坐标的概念
• 2.1.2 三种坐标系定义
• 2.1.3 三种坐标系之间存在的转换关系
• 2.2 宽基线和窄基线的区别
• 2.3 几种变换模型
• 2.4 插值技术
• 2.5 实验开发平台和开发工具介绍
• 2.6 本章小结
• 3 频域视频拼接技术
• 3.1 相位相关法原理
• 3.2 算法实现流程
• 3.2.1 DirectShow平台搭建
• 3.2.2 相位相关算法实现
• 3.2.3 视频序列拼接软件设计总体框架流程图
• 3.3 实验结果及分析
• 3.3.1 相位相关算法适用范围
• 3.3.2 实时视频序列拼接
• 3.4 本章小结
• 4 基于点特征的双摄像头视频拼接技术
• 4.1 两种点特征原理介绍
• 4.1.1 Harris角点检测原理介绍
• 4.1.2 SIFT算子介绍
• 4.2 基于点特征的双摄像头拼接算法实现流程
• 4.2.1 算法基本思想
• 4.2.2 双摄像头视频处理平台搭建
• 4.2.3 双摄像头视频拼接的多线程和线程同步实现
• 4.2.4 特征点粗匹配
• 4.2.5 RANSAC方法去除误匹配点对
• 4.2.6 透视变换矩阵模型参数计算
• 4.2.7 图像变形
• 4.2.8 图像融合
• 4.3 实验结果及分析
• 4.3.1 Harris角点做图像拼接
• 4.3.2 SIFT算子做图像拼接
• 4.3.3 基于两种点特征的双摄像头视频拼接
• 4.4 本章小结
• 5 基于SIFT的序列图像拼接及在扫描文本拼接中的应用
• 5.1 序列图像的合成方式
• 5.2 SIFT拼接技术在扫描文本中的应用
• 5.3 本章小结
• 6 总结与展望
• 6.1 本文工作总结
• 6.2 工作展望
• 致谢
• 参考文献