多视点视频编码方法的研究

论文摘要

为满足视频场景自然和真实再现需求，具有3D视觉功能的多视点视频技术正越来越受到学术界和工业界的重视，并成为近年来视频研究的热点之一。多视点视频蕴涵了景物的深度信息，在自然场景的表征上更具真实感，在3D电视、自由视点电视、具有临场感的可视会议及虚拟现实等领域展现了广阔的应用前景。然而多视点视频具有巨大的数据量，存贮和传输十分困难，必须对其进行高效的压缩。在多视点视频中，除了各个视频流内具有很强的空间和时间相关性，各视点之间也具有一定的交叉相关性，如何有效地利用这些相关性是提高多视点视频编码效率的关键。为提高多视点视频的压缩效率，本文在多视点视频编码的预测框架、运动与视差矢量的预测、基于颜色差异补偿的视差预测编码以及码率控制等方面进行了研究。本文首先分析了多视点视频中视差预测特性和各种相关性的相对大小，在此基础上，提出了基于H.264的多视点视频编码方案，使用H.264的帧内方向预测和帧间多模式预测解除多视点视频的空间相关性、时间相关性和交叉相关性。在视差预测中引入全局视差预测编码模式，并将其集成到H.264的多模式预测编码中，提高了压缩效率：为减少编码视差矢量和运动矢量所需的比特数，提出了改进的视差矢量和运动矢量预测方法，该方法除了利用视差矢量和运动矢量的空间相关性，还利用了它们在相邻视点或相邻时刻的对应关系。另外，本文还提出了一种基于分层结构的视差预测框架，使多视点视频码流具有“视点可分级”、“视点随机访问”和“部分视点解码”的功能。在多视点视频中，由于各摄像机所处方位不同的影响，接收到的光线强度存在差异，同时各摄像机的增益、电平等也不能保证完全一致，导致实际获得的多视点视频图像之间存在着颜色(包括亮度和色差信号)差别，从而严重影响多视点视频的压缩性能。为进一步提高多视点视频的压缩效率，本文深入研究了基于颜色差异补偿的视差预测编码。在分析了不同视点图像之间的颜色差异基础上，对其进行建模，然后根据对模型的简化程度，提出和实现了多种基于颜色差异补偿的视差预测编码方法：全局线性颜色差异补偿、全局非线性颜色差异补偿、局部颜色差异补偿、全局与局部自适应的颜色差异补偿。实验结果验证了本文的颜色差异补偿方法明显改善了视差预测，提高了多视点视频的压缩效率。码率控制是视频编码中非常重要的技术之一，它是任何视频编码都不能回避的问题。对于单视点视频编码，由于传统的多通道VBR码率控制算法计算复杂度高，不适用于实时视频应用，本文提出了一种低复杂度的单通道VBR码率控制算法。该算法根据图像复杂度来分配当前图像的目标比特数，算法中的模型参数随输入视频自适应更新，适应了视频的场景变化。实验结果表明，该算法在满足码率条件下可获得相对稳定的视频质量。目前，对多视点视频编码码率控制的研究尚未深入，本文提出了一种适合本文多视点视频编码方案的码率控制算法。该算法根据每个视点图像的编码复杂度来分配图像的目标编码比特数；另外该算法为每个视点的图像建立了独立的二次信源模型，能够精确控制每个视点的实际编码比特数。实验结果表明，该算法能够有效地控制多视点视频的码率，同时获得了较高的编码效率。

论文目录

• 摘要
• Abstract
• 目录
• 插图清单
• 表格清单
• 第一章 绪论
• 1.1 论文研究背景
• 1.2 多视点视频编码的研究现状
• 1.3 本文的研究内容及主要贡献
• 1.4 论文的章节安排
• 第二章 3D视频系统和视频压缩基础
• 2.1 人眼3D视觉介绍
• 2.1.1 双目立体图像/视频
• 2.1.2 多视点视频
• 2.2 多视点视频应用系统
• 2.2.1 基于多视点视频的自由视点电视
• 2.2.2 基于多视点视频的3D电视
• 2.2.3 多视点视频的关键处理技术
• 2.3 视频压缩基础
• 2.3.1 视频压缩原理
• 2.3.2 主要视频压缩标准介绍
• 2.4 视频压缩性能评价指标
• 2.5 本章小结
• 第三章 基于H.264标准的多视点视频编码方案
• 3.1 多视点视频的相关性分析
• 3.1.1 预测准则
• 3.1.2 视差预测特性测试
• 3.1.3 多视点视频相关性测试
• 3.2 基于H.264和分层视差预测结构的编码方案
• 3.2.1 编解码系统框架
• 3.2.2 基于分层结构的预测框架
• 3.2.3 基于率失真优化的运动\视差估计和模式选择
• 3.3 全局视差模型的应用
• 3.3.1 全局运动模型
• 3.3.2 全局运动参数估计
• 3.3.3 全局视差预测编码
• 3.3.4 运动/视差矢量的预测方法
• 3.4 实验结果及分析
• 3.5 本章小结
• 第四章 基于颜色差异补偿的视差预测编码方法
• 4.1 颜色差异的分析及建模
• 4.2 基于全局线性颜色差异补偿的编码方法
• 4.2.1 全局线性颜色差异模型参数的求解
• 4.2.2 全局线性颜色差异补偿的自适应使用
• 4.3 基于全局非线性颜色差异补偿的编码方法
• 4.3.1 单调递增映射关系的建立
• 4.3.2 非线性颜色差异模型的编码方法
• 4.3.3 全局非线性颜色差异补偿的自适应使用与模型更新
• 4.4 基于局部颜色差异补偿的编码方法
• 4.4.1 传统的局部颜色差异补偿方法
• 4.4.2 改进的局部颜色差异补偿方法
• 4.4.3 全局与局部自适应颜色差异补偿方法
• 4.5 实验结果及算法复杂度分析
• 4.5.1 实验结果及分析
• 4.5.2 计算复杂度分析
• 4.6 本章小结
• 第五章 多视点视频编码的码率控制算法
• 5.1 码率控制的基础知识
• 5.1.1 码率控制基本原理
• 5.1.2 信道/网络/存储介质对码率的要求
• 5.1.3 缓冲区约束
• 5.1.4 信源模型
• 5.2 传统二维视频的码率控制算法
• 5.2.1 经典的码率控制算法
• 5.2.2 单通道可变码率控制
• 5.2.3 实验结果
• 5.3 多视点视频编码的码率控制算法
• 5.3.1 关键技术描述
• 5.3.2 多视点视频码率控制算法的描述
• 5.3.3 实验结果
• 5.4 本章小结
• 第六章 总结与展望
• 6.1 本文工作总结
• 6.2 研究展望
• 附录A 多视点视频测试序列的描述
• 参考文献
• 致谢
• 作者攻读博士期间完成的论文