视频后处理算法研究

论文摘要

随着社会的发展和科技的进步,人类对各类信息的需求越来越多,要求也越来越高。集视频、图像、音频、语音、文字数据等多种媒体为一身的多媒体业务,已经成为人类获取信息的主要方式。在多媒体业务中,视频和图像占据着主导地位。视频后处理模块作为解码器与显示设备的衔接模块,能在实现格式转换的同时方便的实现各种图像处理算法,在改善画面、提升图像观赏质量和视觉效果方面起着重要作用,使得信息能更好的表现给最终接收者。帧率上转换技术作为一种将视频从一个较低帧率上变换到一个较高帧率的技术,可以在解码端恢复编码端为了降低码率而跳过的视频帧,减小视觉上的停滞感和跳跃感,提供更好的视觉质量。对通过差错信道传输的视频内容,错误掩盖技术在解码端实现了对传输中丢失信息的预测和替代,大大改善最终显示图像的质量。三维电视是近年来兴起的一种能够增强视频观赏体验的新型媒体介质,为视频后处理技术应用研究提供了新的领域。本文首先介绍了视频编码的主要原理和相关国际标准,然后结合视频后处理主要内容和应用背景,提出了基于H.264标准的解码-后处理的联合模型。在该模型中,解码端为后处理模块提供编码信息。通过对这些编码信息进行分析,从中提取出图像的局部特征,最后利用该局部特征进一步改善后处理性能。本文研究重点是该联合模型下各种后处理算法以及其在三维视频系统中的新应用,主要内容和创新如下:研究帧率上转换算法,分析帧率上转换技术中的解码器运动矢量的判定和校正以及中间帧运动矢量的估计等问题,提出了一种时空域结合的基于解码运动矢量的帧率上转换算法。该算法在利用运动矢量相关性的基础上,综合考虑前后两帧中对应块的相似性和所插中间帧的空间连续性,减少了块效应和鬼影效应,对物体边缘实现了较好的保持。研究错误掩盖算法,分析传统时域错误掩盖算法的不足,提出一种基于多模型的时域错误掩盖算法。该算法根据编码信息自适应的将改进的时域相关性模型与匀速运动模型相结合,表征错误区域的运动。在考虑丢失区域周围邻域的时域相关性的同时,保持相邻帧之间的运动的一致性,从而有效的减少了错误传递,提高了错误掩盖的效果。针对视频传输中整帧丢失的情况,分析帧恢复技术中运动矢量场估计和丢失帧重建等问题,提出一种基于运动矢量校正的自适应帧恢复算法。该算法通过对参考帧的运动矢量进行修正,从而更好的估计丢失帧的运动矢量场;采用的自适应的重叠块运动补偿算法更好的重建丢失帧。研究基于深度图像的三维视频系统中,视频后处理算法的应用。针对三维视频的特点,提出了一种基于图像修复的多视点图像产生算法。与传统的关注于深度图像处理的多视点图像的产生算法不同,采用图像修复的技术对映射后的视点图像中空白区域进行填充。提出了一种三维视频系统中基于深度图像的时域错误掩盖算法。通过利用丢失宏块的深度信息,估计丢失宏块的内部结构,将错误块邻域分割成前景和背景两个邻域,并基于相关邻域对错误块进行时域错误掩盖。为验证本文所提算法的性能,进行了大量的模拟实验。实验结果表明:利用本文算法处理后的视频图像在视觉效果和峰值信噪比两方面均优于同类算法。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 引言
• 1.2 视频压缩编码技术
• 1.2.1 视频压缩编码技术的理论基础
• 1.2.2 视频压缩编码的国际标准的制定和发展
• 1.2.3 H.264/AVC 视频编码标准的特点
• 1.3 视频后处理技术
• 1.3.1 视频后处理主要内容与应用背景
• 1.3.2 视频后处理质量评价
• 1.4 本文的主要内容和创新点
• 1.4.1 本文的主要内容
• 1.4.2 研究创新点
• 参考文献
• 第2章 帧率上转换技术
• 2.1 引言
• 2.2 帧率上转换技术综述
• 2.2.1 帧复制与帧平均
• 2.2.2 基于运动补偿的帧率上转换
• 2.3 时空域结合的帧率上转换
• 2.3.1 解码端运动矢量的预处理
• 2.3.2 解码端运动矢量的判定与校正
• 2.3.3 中间帧运动矢量的初始化
• 2.3.4 中间帧运动矢量的优化
• 2.3.5 自适应权重的双向加权插值重建
• 2.4 实验与结果
• 2.5 本章小结
• 参考文献
• 第3章 错误掩盖技术研究
• 3.1 引言
• 3.2 错误掩盖技术综述
• 3.2.1 空域错误掩盖
• 3.2.2 频域错误掩盖
• 3.2.3 时域错误掩盖
• 3.2.4 混合域错误掩盖
• 3.3 基于多模型的时域错误掩盖
• 3.3.1 确立候选运动矢量
• 3.3.2 改进的时域相关性模型
• 3.3.3 匀速直线运动模型
• 3.3.4 自适应模型组合
• 3.3.5 多假设运动补偿掩盖重建
• 3.4 实验与结果
• 3.5 本章小结
• 参考文献
• 第4章 帧恢复技术
• 4.1 引言
• 4.2 帧恢复技术综述
• 4.2.1 基于视频运动特性的帧恢复
• 4.2.2 基于光流的帧恢复
• 4.3 时空域结合的自适应帧恢复
• 4.3.1 选择参考帧并进行参考帧运动矢量校正
• 4.3.2 参考帧帧内预测块运动矢量恢复
• 4.3.3 运动矢量拷贝
• 4.3.4 自适应重叠块运动补偿重建
• 4.4 实验与结果
• 4.5 本章小结
• 参考文献
• 第5章 3D 视频系统中后处理技术
• 5.1 引言
• 5.2 3D 视频系统综述
• 5.3 基于深度图像的多视点图像的产生
• 5.3.1 视角映射变换
• 5.3.2 各类区域的标记
• 5.3.3 空白区域的填充
• 5.3.4 实验结果
• 5.4 基于深度图像的时域错误掩盖
• 5.4.1 深度图像的分析
• 5.4.2 深度图像的错误掩盖
• 5.4.3 2D 视频图像的错误掩盖
• 5.4.4 实验结果
• 5.5 本章小结
• 参考文献
• 总结与展望
• 致谢
• 攻读博士学位期间发表和完成的学术论文