基于深度图像绘制的二维转三维视频关键技术研究

论文摘要

近年来,三维视频越来越多地进入人们的生活中,在给予人们视频图像高清晰度的体验之外,还带来了身临其境的立体感知。但是由于传统的三维视频资源的获取不仅耗成本而且设备复杂,同时传输过程中由于传输两路信号对网络的带宽也是一个考验,此外,三维视频的播放设备与目前常用的二维视频播放设备不兼容,这对三维视频的普及应用带来了一定的阻碍。二维视频转三维视频是基于图象分析技术,由二维视频直接获得三维视频演示的技术。其中,基于深度图绘制（DIBR）的转换技术是一种有效的方法,因而受到研究人员的广泛关注,出现了许多新的改进算法。本文首先介绍了三维立体视觉的理论知识,其成像基本原理与三维立体显示设备介绍,从而引出了二维视频+深度图像的格式过渡到三维视频。引出了广泛应用与多视点与立体视频中的视点绘制技术（IBR）,对其做了简要介绍,接下来对适用于本课题的基于深度图的图像绘制（DIBR）方法进行详细的阐述,并对其进行了深入的研究,对该方法中的各问题分析了产生原因以及提出解决办法,分析得出在整体上影响DIBR重建图像质量的因素为视差图,因此本文提出了基于视差图的DIBR方法,以及进一步加入了垂直纹理判断的基于视差图的DIBR方法,对视差图在转换前进行预处理控制空洞的大小及其形状,接下来对处理剩余空洞的各种方法也进行实验,由于空洞部分的纹理信息丰富的特点与基于纹理的图像修补算法较类似,因此本文进而提出基于改进的图像修补法对3D转换后仍然存在的空洞进行处理,最后针对三维视频质量评估提出了更加适用于本课题的评估框架并实验,结果显示本文提出的两点算法改进在视觉效果上有所提升,并且提出新的评估模型的客观参数评估与主观评价一致。本文最后对全文进行了总结,并指出今后需要继续进行的相关研究工作。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 引言
• 1.2 研究背景及意义
• 1.3 研究现状
• 1.4 本文的主要工作及内容安排
• 第二章 三维视频原理与视频转换技术
• 2.1 三维立体视觉的基本原理
• 2.1.1 单眼立体三维信息
• 2.1.2 双眼立体三维信息
• 2.2 三维立体显示系统的研究及发展
• 2.3 二维视频+深度图格式
• 2.3.1 基本原理
• 2.3.2 格式的优缺点与适应性
• 2.4 本章小结
• 第三章 基于深度图像的虚拟视点绘制 （DIBR） 技术与分析
• 3.1 视点绘制技术简介
• 3.2 基于深度图像的虚拟视点绘制
• 3.2.1 DIBR 基本原理
• 3.2.2 基于深度图像的虚拟视点的绘制 （DIBR） 方法带来的问题分析
• 3.3 本章小结
• 第四章 基于视差图的DIBR （PM-DIBR） 研究
• 4.1 处理DIBR 问题目前的方法简介
• 4.1.1 处理Visibility 常用方法
• 4.1.2 处理Resampling 常用方法
• 4.1.3 处理Disocclusion 和Hole 常用方法
• 4.2 基于视差图的DIBR （PM-DIBR）
• 4.3 本章小结
• 第五章 基于图像修补的视差图的DIBR 研究
• 5.1 图像修补技术
• 5.2 基于纹理的图像修补模型
• 5.2.1 纹理合成
• 5.2.2 最佳邻域匹配算法
• 5.3 基于图像修补的PM-DIBR 方法
• 5.3.1 Criminisi’s 的图像修补
• 5.3.2 改进的 Criminisi’s 的图像修补
• 5.4 本章小结
• 第六章 实验结果与分析
• 6.1 实验平台及评测方法
• 6.1.1 实验平台与参数
• 6.1.2 评测方法介绍
• 6.1.3 本文改进的测评方法
• 6.2 仿真结果与比较分析
• 6.3 本章小结
• 第七章 总结与展望
• 7.1 总结
• 7.2 展望
• 参考文献
• 致谢
• 攻读硕士学位期间的学术论文