面向FPGA的多路高清视频拼接算法

论文摘要

视频拼接技术已经成为计算机视觉、模式识别、安防监控、战场信息感知等领域的重要组成部分。视频拼接质量的高低,能够直接影响目标检测与识别、分析与决策等后续处理工作。视频拼接过程涉及视频配准、视频融合等多方面内容。由于高清视频具有数据量大、处理复杂、实时性要求更高等特点,因此拼接研究过程中面临海量数据存储以及大规模数据处理、分析和挖掘等一系列具有挑战性的问题,目前相关研究成果和实际应用系统都相对较少。FPGA(Field Programmable Gate Array,现场可编程门阵列)是实现视频拼接的理想硬件平台,因此本文研究和提出了一种面向FPGA的新型多路高清视频拼接算法,主要研究内容包括以下几个方面:1.设计和实现了一种新型的基于特征点离散化和预筛选的改进RANSAC算法,使特征点分布更加均匀,并利用特征点自身信息滤除误匹配点,与传统的RANSAC算法相比能够进一步提高配准速度和精度;2.提出了一种基于FPGA的查找表方法,设计了用于视频配准的小数查找表,能够克服传统方法算法复杂和计算量大的问题,有效提高多路视频配准的实时性能;3.提出了一种面向FPGA的基于改进动态规划算法的两阶段缝合线搜索方法,并对算法参数进行了分析,提高了视频融合中缝合线搜索的精度和速度;4.针对视频重叠区域出现的运动目标,提出了一种面向FPGA的基于差异区域(Region of Difference,ROD)的缝合线局部调整算法,能够实时调整缝合线避开运动物体,提高视频融合效果;5.设计了基于FPGA的多路高清视频拼接系统架构,分析了各模块的FPGA实现方法。通过与传统算法进行对比实验,验证了所提出方法的效果与性能。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题背景和意义
• 1.2 国内外研究现状
• 1.2.1 图像拼接概述
• 1.2.2 视频拼接概述
• 1.2.3 预处理方法
• 1.2.4 配准方法
• 1.2.5 融合方法
• 1.2.6 视频拼接中的缝合线搜索算法
• 1.2.7 视频拼接中对重叠区域运动物体的处理
• 1.3 研究内容和目标
• 1.4 论文组织结构
• 第二章 摄像机成像模型概述
• 2.1 坐标变换方法
• 2.2 视频重投影方法
• 2.3 图像变换
• 本章小结
• 第三章 多路高清视频配准算法
• 3.1 基于SIFT特征点的视频配准算法
• 3.1.1 SIFT特征提取
• 3.1.2 基于特征点离散化和预筛选的改进RANSAC算法
• 3.2 基于查找表的视频配准方法
• 3.2.1 查找表原理概述
• 3.2.2 查找表计算与生成方法
• 3.3 基于FPGA实现查找表算法的优势
• 3.3.1 基于FPGA实现传统算法的劣势
• 3.3.2 基于FPGA实现查找表算法的优势
• 本章小结
• 第四章 多路高清视频融合算法
• 4.1 基于改进动态规划的两阶段缝合线搜索算法
• 4.1.1 求解差值图像
• 4.1.2 改进动态规划算法
• 4.1.3 一种新型的两阶段改进动态规划缝合线搜索算法
• 4.1.4 缝合线搜索算法参数分析
• 4.1.5 缝合线搜索结果比较与分析
• 4.2 基于变化块检测的缝合线局部调整方法
• 4.2.1 多路视频重叠区域变化检测
• 4.2.2 缝合线局部调整
• 4.3 基于多分辨率样条融合的视频融合算法
• 4.3.1 高斯金字塔构建
• 4.3.2 拉普拉斯金字塔构建
• 4.3.3 视频图像融合
• 4.4 融合算法适合FPGA实现的特点
• 4.4.1 缝合线搜索算法适合FPGA实现的特点
• 4.4.2 多分辨率样条融合算法适合FPGA实现的特点
• 本章小结
• 第五章 FPGA系统设计
• 5.1 FPGA系统及硬件描述语言介绍
• 5.2 FPGA方案设计
• 5.2.1 系统总体设计
• 5.2.2 图像采集与预处理模块
• 5.2.3 查找表模块
• 5.2.4 缝合线搜索算法的FPGA设计
• 5.2.5 缝合线局部调整的FPGA设计
• 5.2.6 多分辨率样条融合的FPGA设计与实现
• 本章小结
• 结束语
• 致谢
• 参考文献
• 作者在学期间取得的学术成果目录