多视角立体视频编解码的关键技术研究

论文摘要

随着信息技术、网络技术和多媒体技术的飞速发展,人们对视觉享受的要求一直在不断提高。多视角立体视频系统不但可以提供给用户高清晰视频质量的立体视觉享受,而且可以满足用户从不同角度、不同视点观察真实世界的渴望。未来的视频系统可能会以通过增加视频序列数量和提高视频分辨率作为发展主线,多视角立体视频编解码技术的研究具有重要的现实意义。获取场景准确的深度信息是立体视频高效编码和立体图像处理的基础。本文给出了一种用于立体图像匹配的改进置信传播算法。基于视差场的连续性假设,传统视差估计置信传播算法将稠密视差场抽象为一种马尔可夫场,置信传播在消息双向传递的马尔可夫网络上进行。考虑到在物体遮挡区域视差场并不连续,本文首先采用基于彩色权重的初始视差估计和交叉不稳定检测技术检测出遮挡区域,将稠密视差场更加精确的抽象为一种马尔可夫场和贝叶斯场的混合场,置信传播在马尔可夫和贝叶斯的混合网络上进行,使得遮挡区域像素视差信息不传递给非遮挡区域,提高了视差估计精度并降低了算法复杂度。本文采用Middlebury网站提供的标准测试图像对本文算法进行了客观评估,实验结果表明,本文算法同时具有较好的视差估计精度和运算效率,截止2010年1月,本文算法在Middlebury网站上的精度综合排名为第七名。多视角立体视频由于需要存储传输场景的多个视角视频,数据量是传统二维视频的数倍,研究高效的压缩编码技术对于多视角立体视频的实际运用十分重要。一般而言,多数多视角立体视频编码方案中均会采用视间估计技术来减少多视角视频的视间冗余,本文提出了一种基于深度信息的改进的视间预测补偿快速算法,可以提高视间估计效率。另一方面,本文研究了一种基于深度信息和彩色分割的立体视觉前景区域提取算法,进行了立体视频前后景分割编码方面的尝试,前后景分割编码能够在较低码率下改善前景区域图像质量,并在一定程度上提高视频的立体观感。由于多视角立体视频需要在解码端同步多个视角视频的实时解码,研究如何提高解码端的实时解码能力具有重要的现实意义。本文提出了一种基于CPU和GPU混合运算的多视角立体视频软件解码模型,该模型充分利用了GPU的并行运算能力,加速了解码端IDCT运算和彩色空间变换的运算过程,一定程度上提高了多视角立体视频的软件解码效率。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 论文背景
• 1.2 多视角立体视频编码压缩技术
• 1.2.1 多视角立体视频系统总体框架
• 1.2.2 多视编码方案
• 1.2.3 场景深度提取
• 1.2.4 立体视频前后景分割编码
• 1.3 论文安排
• 第二章 多视角立体视频编解码方案研究
• 2.1 多视角立体视频编码的研究现状
• 2.1.1 研究多视角立体视频压缩技术的必要性
• 2.1.2 H.264-MVC方案简介
• 2.1.3 基于立体视觉特性的编码技术
• 2.2 改进的多视角立体视频编解码方案
• 2.2.1 改进方案的总体介绍
• 2.2.2 深度估计和深度图编码模块简介
• 2.2.3 多视角视频编码模块简介
• 2.2.4 多视解码模块简介
• 2.3 本章小结
• 第三章 深度提取算法研究
• 3.1 深度提取的全局算法
• 3.2 基于置信传播的视差估计算法
• 3.3 改进的视差估计置信传播算法
• 3.3.1 初始视差场估计
• 3.3.2 交叉不稳定检测技术
• 3.3.3 改进的置信传播算法
• 3.3.4 实验结果
• 3.4 本章小结
• 第四章 基于深度的高效编码
• 4.1 编码器结构综述
• 4.2 基于深度的快速视间预测补偿
• 4.2.1 快速视间预测补偿通用技术
• 4.2.2 基于深度的快速视间预测补偿算法
• 4.2.3 实验结果
• 4.3 前景提取算法
• 4.3.1 图像分割算法简述
• 4.3.2 基于深度的前景区域提取
• 4.3.3 基于深度和彩色分割的前景区域提取
• 4.3.4 前后景分割编码实验结果
• 4.4 本章小节
• 第五章 基于GPU和CPU混合运算的解码技术
• 5.1 GPU通用计算技术简介
• 5.1.1 图形渲染流水线
• 5.1.2 GPGPU编程常用概念
• 5.1.3 GPGPU的运算过程原理
• 5.2 IDCT运算在GPU上的实现
• 5.2.1 IDCT运算在GPU上实现的基本原则
• 5.2.2 基于块的IDCT运算
• 5.2.3 基于多通道的改进IDCT运算
• 5.3 图像彩色空间变化在GPU上的实现
• 5.4 实验分析
• 5.4.1 IDCT运算效率分析
• 5.4.2 图像彩色空间变换运算效率分析
• 5.4.3 多视角立体视频解码的整体效率分析
• 5.5 本章小结
• 第六章 全文总结
• 6.1 全文回顾
• 6.2 未来展望
• 参考文献
• 致谢
• 攻读硕士学位期间已发表或录用的论文
• 上海交通大学硕士学位论文答辩决议书