基于H.264扩展架构的可伸缩视频编码关键技术研究

论文摘要

随着计算机网络、通讯、信息家电、消费电子等相关领域内技术日新月异的发展以及市场迅猛扩大,多媒体服务,尤其是以视频内容为核心的流媒体服务,开始成为最具潜力的增值服务之一。面对目前和将来可以预见的渐趋复杂的流媒体应用环境（异构网络、带宽波动、终端设备多样化、服务提供商的灵活政策、终端用户的个性化要求）,需要视频编码体系必须能够在较低的复杂度上提供时域,空域和质量可伸缩性编码。为应对这一挑战,2005年前后来自ITU-T和MPEG的联合视频小组（Joint Video Team,JVT）开始研究可伸缩视频编码（Scalable Video Coding,SVC）的标准化。在研SVC标准采用基于“H.264扩展（Extension of H.264）”的实现框架。H.264扩展既保留和兼容了H.264标准的高效,又增加了时域/空域,质量等伸缩功能。SVC标准将是第一个完整和全面支持伸缩性的国际标准,其标准化将是JVT在20052006两年内最重大的研究项目。毫无疑问,深入研究和跟踪该标准的发展也是本文最重要的研究意义之一。论文内容以SVC标准及其基于H.264扩展的实现框架为基础,总结了可伸缩视频编码的发展历史和现有视频编码体系在伸缩性方面的局限性,跟踪研究了JVT在研SVC标准及其需求和特点,重点研究了H.264核心的高效编码技术,研究了基于H.264扩展的SVC框架在时域、空域、质量等三方面的伸缩编码机制及其对H.264语法/语义的增修,设计了相关的软件测试平台。实现基于H.264扩展的可伸缩视频编码需要解决两类关键问题:其一是H.264核心的有效编码技术,其二是外围增加的高效伸缩技术。针对前者就运动估计、模式选择、码率控制等三个关键技术提出了改进算法或新算法;针对后者就空间伸缩的关键技术提出了改进算法。1)根据H.264多参考帧运动估计的特点,提出了“连续中心外螺旋搜索算法”。在运动估计的过程中,为充分利用相邻帧间运动估计的相关性,前一参考帧搜索到的最佳点作为下一参考帧的搜索起点,并沿以该点为中心向外螺旋的路径进行新一参考帧上的运动估计。此外该方法还集成了传统的连续消除算法（Successive EliminateArithmetic,SEA）。实验表明其运动估计精度和全局搜索（Full Search）相同,而计算量却缩小了25%。2)提出了一种基于梯度且支持RDO的帧间块模式抉择算法。由于H.264支持变大小块编码技术,显然遍历所有的模式去寻找满足率失真优化（Rate distortion optimize,RDO）代价函数最小值的最佳模式是最精确的方法,但其却最耗时。新算法根据宏块的梯度分布情况事先剔除某些可能性很小的模式,以减少RDO过程待选模式数目以达到快速选择模式的目的。实验表明新算法适应H.264块大小可变的特点,能够根据图像局部梯度变化选择合适的编码模式,比传统的全模式RDO方法节约80%左右的时间,而PSNR下降不超过2dB。3)提出了一种基于Basic-Unit级的码率控制方案。JVT建议的分层码率控制方案在Basic-Unit级采用平均分配码率。事实上,不同Basic-Unit的复杂度不一样,而且越复杂的Basic-Unit比相对更简单的Basic-Unit需要分配更多的码率才合理。显然JVT建议的平均分配方法不符合这一逻辑。新的方案考虑了不同Basic-Unit的相对复杂性,并据此重新调整了Basic-Unit间的码率分配,越复杂的Basic-Unit分配越多的码率,反之越少。结果表明,改进的方法在PSNR不降低的情况下可以获得更好的主观质量。4)提出了一个基于DCT核的空间上/下采样过滤器。在空间可伸缩视频编码中,分辨率的变换本质是一个上/下采样的过程,而采样过滤器的好坏对空间伸缩的性能和PSNR影响很大。由于DCT变换和最优的KL变换相近,故在图像/视频压缩中被常用。该方案是前向DCT和后向DCT的有效结合,下采样时舍弃DCT高频部分,上采样时高频部分补零。试验结果表明,该采样过滤器能够有效提高空间伸缩性能,比SVM标准采样方法获得1～3dB的增益。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 引言
• 1.2 可伸缩编码概念和思想
• 1.3 可伸缩编码现状和课题研究背景
• 1.4 本文的内容和研究工作
• 2 可伸缩视频编码标准——SVC
• 2.1 传统视频标准有限伸缩性
• 2.2 SVC 标准全新出现
• 2.3 实现SVC 标准的两类架构之争
• 2.4 基于H.264 扩展的SVC 架构关键技术
• 2.5 本章小结
• 3 H.264 编码关键技术的研究
• 3.1 H.264 编码的关键技术
• 3.2 连续外螺旋多帧运动估计
• 3.3 基于梯度分布的块模式选择
• 3.4 支持BASIC UNIT 级的码率控制
• 3.5 本章小结
• 4 H.264 扩展的可伸缩性
• 4.1 H.264 扩展的伸缩性概述
• 4.2 时域扩展
• 4.2.1 基于提升方案的MCTF
• 4.2.2 兼容H.264 的层次B 帧时域扩展
• 4.2.3 时域扩展对H.264 的影响
• 4.3 空域扩展
• 4.3.1 空域扩展原理
• 4.3.2 一种基于DCT 核的空域采样新算法
• 4.4 质量（SNR）扩展
• 4.4.1 位平面量化和FGS 质量伸缩
• 4.4.2 分层嵌入式量化
• 4.4.3 质量扩展对H.264 的影响
• 4.5 H.264 扩展
• 4.5.1 NAL 结构扩展
• 4.5.2 SLICE 结构扩展
• 4.6 本章小结
• 5 测试软件和平台建立
• 5.1 测试平台
• 5.1.1 JM 软件框架
• 5.1.2 SVM 软件架构
• 5.2 若干关键技术模块的软件设计
• 5.3 测试结果
• 5.4 本章小结
• 6 总结和展望
• 6.1 研究工作总结
• 6.2 可伸缩视频编码和SVC 标准展望
• 致谢
• 参考文献
• 附录：作者在攻读博士学位期间发表的论文目录