立体视频深度图提取及深度序列编码技术研究

论文摘要

多视点视频广泛应用于三维视频（Three Dimensional Video,3DV）系统，自由视点视频（Free-Viewpoint Video, FVV）系统，三维医疗显示系统和三维视频监控系统等。尤其作为多视点视频面向广大消费者日常生活的一个典型应用，自由视点视频系统成为了现阶段视频信号处理领域的热点议题，作为新生代视觉多媒体系统，其允许用户在任意角度观看视频画面，满足了人们对不同视角的视频信号的感官体验需求。自由视点视频系统中典型的数据表示格式是多视点+多深度（Multi-view Videoplus Depth，MVD）数据格式，由于在终端采用了虚拟视点绘制技术，解决了多视点信号采集、海量数据编码传输及存储的难题。虚拟视点绘制技术可以通过多视点视频中的任意两个视点彩色视频序列及其相应的深度序列来合成两视点间的任意位置视点的视频信号，满足人们任意角度观看视频画面的需求。基于MVD框架的自由视点视频系统一般包括多视点彩色视频信号获取，多视点深度序列的获取，多视点彩色视频序列编码，多视点深度序列编码，多视点彩色及深度序列的传输，多视点彩色及深度序列解码，虚拟视点绘制和三维显示等部分。在多视点视频技术给人类带来的身心感观愉悦及生活便利的同时，也面临着诸多技术瓶颈。在深度序列采集方面，多视点深度序列则由于采集装置分辨率及设备费用限制，使得多视点深度序列的采集面临困难。因此常采用深度图提取算法来获得深度图，但是现存方法都会不同程度上在图像的纹理区、无纹理区和深度不连续区产生误匹配，导致匹配精度降低。在深度序列的编码传输方面，由于深度序列结构特性不同于彩色纹理视频，结构简单，层次分明的特点使其有更大的压缩空间，但是深度图是面向虚拟视点绘制的中间步骤，解码后的深度图质量严重影响着虚拟视点的绘制质量，因此对深度序列的压缩需要有特殊的压缩方法或者处理技术。鉴于深度图提取算法和深度序列压缩方法两个方面面临的技术瓶颈，本文提出了四个算法来解决这两个问题。1.针对深度图（视差图）提取算法中的目标边界和精细纹理区域匹配不精确的问题，提出立体灰度图像对平面亮度法线的概念，通过对立体灰度图像对亮度法线的分析，灰度图亮度法线可以反映出灰度图的高频信息。根据灰度图平面亮度法线这一特性，提出了灰度图像亮度法线相似性测度的概念，并在经典局部匹配算法自适应权值匹配算法核心思想的基础上，提出基于亮度法线相似性和自适应权值匹配算法。算法的实现结果提高了深度图的目标边界及精细纹理区域的匹配精度。2.针对深度图（视差图）提取算法中在无纹理区产生大量误匹配点的问题，提出根据立体图像对之间的视差能量特性，通过引入二次平滑因子，将立体匹配问题模型化为凸函数优化求解问题。通过使用次梯度投影法，以全变分函数为凸约束集，在凸集框架下寻求视差值最优解。这一算法不仅很好的保留了图像的边缘，而且减少了图像匹配过程中在无纹理区产生的误匹配点，提高了无纹理区的匹配精度。3.针对采用H.264/MVC编码框架对深度序列进行压缩编码时，由于编码器中的量化步骤会引入人工效应，尤其会直接导致解码端深度图的目标边缘产生不同情况的扭曲这一问题，提出了将深度图中感兴趣的目标边缘进行边缘检测，进而通过调整编码器的量化参数保留感兴趣的目标边缘。在保证传输码率基本不变的情况下，利用解码后的深度序列进行新视点的绘制，从实验结果可以看出，这一方法提高了绘制的虚拟视点的主观质量。4.针对下/上采样的低分辨率深度序列编码方案，在自适应权值上采样方法的基础上，提出了多相似性自适应权值上采样方法。通过对深度图边缘结构的特点分析，提出三种使用滤波器和上采样方法结合的方案来重构全分辨率深度图。方案一提出结合边缘保留à-Trous小波滤波及自适应权值上采样方法重构全分辨率深度图，方案二提出结合中值滤波及多相似性自适应权值上采样方法重构全分辨率深度图，方案三提出结合边缘保留à-Trous小波滤波及多相似性自适应权值上采样方法重构全分辨率深度图。提出的三种方案都能保证在低比特率下更好地实现了深度序列边缘的保留及重建。通过使用重建后的全分辨率深度序列绘制虚拟视点，提高了绘制后的虚拟视点的主客观质量。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 论文研究背景
• 1.2 深度图提取及深度序列编码技术研究现状
• 1.2.1 深度图提取技术
• 1.2.2 深度序列编码技术
• 1.3 本文研究内容及论文结构安排
• 1.3.1 主要研究内容
• 1.3.2 论文结构安排
• 第2章 多视点视频系统中的关键技术
• 2.1 多视点视频系统
• 2.2 多视点视频系统的关键技术
• 2.2.1 多视点彩色/深度视频的采集
• 2.2.2 多视点彩色/深度序列的压缩编码
• 2.2.3 虚拟视点的合成
• 2.2.4 立体视频显示
• 2.3 虚拟视点的质量评价
• 2.4 本章小结
• 第3章 基于亮度法线相似性和自适应权值的立体匹配算法
• 3.1 图像空间的测度方法
• 3.2 二维图像像素的亮度法线
• 3.2.1 像素的亮度法线
• 3.2.2 图像空间的亮度法线相似性
• 3.3 基于多相似性和自适应权值的立体匹配算法
• 3.4 一致性检测
• 3.5 实验结果与分析
• 3.5.1 主观特性比较
• 3.5.2 客观质量比较
• 3.5.3 亮度法线相似性测度对匹配精度的影响分析
• 3.5.4 提出算法在不同尺寸支持窗下的特性分析
• 3.6 本章小结
• 第4章 基于凸理论的视差图全局优化算法
• 4.1 全局立体匹配算法基本模型
• 4.2 凸函数能量模型
• 4.2.1 能量模型的数据项
• 4.2.2 二次平滑因子
• 4.3 次梯度投影
• 4.3.1 次梯度
• 4.3.2 次梯度投影
• 4.4 全变分正则化约束集
• 4.5 迭代算法
• 4.6 实验结果与分析
• 4.7 本章小结
• 第5章 基于深度图边缘保留的深度序列编码
• 5.1 H.264/MVC 帧内亮度分量预测编码原理
• 5.2 深度图边缘分析
• 5.3 边缘保留的深度图序列编码方案
• 5.3.1 宏块分割处理
• 5.3.2 编码端比特分配
• 5.4 实验结果与分析
• 5.4.1 Sobel 算子门限阈值及适合序列分析
• 5.4.2 虚拟视点序列质量评析
• 5.4.2.1 客观质量评析
• 5.4.2.2 主观质量评析
• 5.4.2.3 不同阈值下编码性能与虚拟视点序列质量比较
• 5.5 本章小结
• 第6章 基于深度图滤波和下/上采样的深度序列编码
• 6.1 深度图下采样及编码
• 6.2 边缘保留的滤波器
• 6.2.1 边缘保留的à-Trous 小波滤波器
• 6.2.2 中值滤波器
• 6.3 上采样方法
• 6.3.1 自适应权值上采样方法
• 6.3.2 多相似性权值上采样方法
• 6.4 实验结果与分析
• 6.4.1 结合边缘保留à-Trous 小波滤波与自适应权值上采样编码方案
• 6.4.1.1 客观质量评析
• 6.4.1.2 主观质量评析
• 6.4.2 结合中值滤波器与多相似性自适应权值上采样编码方案
• 6.4.2.1 客观质量评析
• 6.4.2.2 主观质量评析
• 6.4.3 结合边缘保留的à-Trous 小波滤波与多相似性自适应权值上采样编码方案
• 6.4.3.1 客观质量评析
• 6.4.3.2 主观质量评析
• 6.4.4 三种方案综合评价
• 6.5 计算复杂度分析
• 6.6 本章小结
• 第7章 总结与展望
• 7.1 工作总结
• 7.2 工作展望
• 参考文献
• 作者简介及在学期间所取得的科研成果
• 致谢