实时H.264关键编码算法研究与实现

论文摘要

H.264是由ITU-T VCEG和ISO/IEC MPEG联合推出的新一代国际视频编码标准,它采用的依然是基于块的运动补偿和变换的混合编码方案,但和其它视频编码标准相比,它采用了一种全新的近似DCT变换技术——整数变换技术以避免以前标准中使用DCT变换所带来的反变换匹配误差,采用帧内预测编码以提高帧内及帧间编码效率,帧间采用灵活多变的不同块大小来准确描述物体的实际运动情况,且使用了高精度的分数像素运动估计与补偿以及多参考帧选择技术来增加预测的准确度,采用自适应滤波器以去除图像的边界效应,采用基于上下文的二进制编码技术以缩减编码所需的位数等等,这些新技术的综合运用使得H.264编码器和以前的视频编码标准相比在同等重建图像质量下能够节约大约50%的码率,但H.264编码器所使用的新技术也直接导致了其实现的高复杂性,从而限制了其在实时领域里的应用,因此,如何以较低的实现复杂度获得较高的编码效率就成了H.264视频编码技术走向实时应用的一个重要研究课题。为了追求高效率的编码效果,H.264所采用的新的编码技术中使用了大量复杂度极高的编码算法,这些算法的使用直接制约着H.264编码器在实时视频编码领域里的应用,因此,必须寻找相应的快速实现算法来替代H.264中那些复杂度极高的算法;同时为了进一步提高H.264的编码速度,除了对算法进行优化以外,还可以对编码器中反复使用的一些功能模块根据平台的特点进行指令级的优化,此外,还可以根据实际需要对整个H.264编码器的程序结构和数据结构进行适当的优化,本文依据这一思路对H.264编码器中所使用的部分关键算法进行了比较深入的研究并结合平台特点进行了实现,取得了较好的加速效果,主要创新点体现在:●从理论上解决了对H.264中的零块进行精确检测的问题。针对H.264中整数变换与量化的特点对H.264中的零块判决技术进行了深入研究,推导出了H.264中的最佳零块判决阈值计算公式。●提出了三个运动搜索模板以及两种快速整像素运动估计算法。针对运动估计的复杂性,提出可以在整像素运动估计过程使用三角形模板、线性模板或简化正方形模板对大运动矢量进行粗定位,并在此基础上提出了两种快速整像素运动估计算法——基于菱形—三角形模板的快速运动估计算法DTS（Diamond Triangle Search）和基于菱形—简化正方形模板的快速运动估计算法DSSS（Diamond Simplified Square Search）。●提出了一种快速的多参考帧选择算法。针对多参考帧选择算法的复杂性,根据运动强度和参考帧率失真优化值所表现出来的单调性提出的快速多参考帧选择算法可以有效地减少参考帧判决数目。●提出了一种利用新的码字结构进行变长编码方案——商—余数编码方案,使用该编码方案可以有效减少H.264视频编码的长度。作者最后还把本人提出的上述有关算法综合运用到H.264编码器中,在参考软件JM7.6框架下对程序与数据结构进行了适当优化,并对一些关键模块如整像素运动估计中求残差的绝对误差和SAD,分数像素运动估计中求残差的Hadamard变换及对变换后的残差矩阵求取绝对值和SATD,整数变换及其逆变换,亚像素内插等模块利用PC机的多媒体指令系统进行指令级优化,同时对编码器进行总体优化,取得了比较满意的加速效果,实验结果表明:使用了总体结构优化、算法优化和平台优化之后,基本可以在通用微处理器平台PC上对QCIF格式的视频序列进行实时H.264编码。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 视频编码技术的发展
• 1.1.1 概述
• 1.1.2 常用图像视频编码方法的分类
• 1.1.3 基本编码方法
• 1.1.4 图像质量评价体系
• 1.2 视频编码标准简介
• 1.3 H.264视频编码标准的提出及特点
• 1.4 H.264编码算法研究现状
• 1.4.1 国外研究现状简介
• 1.4.2 国内研究现状简介
• 1.5 课题主要工作简介
• 1.6 本文结构
• 第二章 H.264视频编码简介
• 2.1 H.264视频编码标准介绍
• 2.1.1 H.264的分层结构
• 2.1.2 H.264支持的图像帧结构
• 2.1.3 H.264支持的图像帧类型
• 2.1.4 档次与级别
• 2.2 H.264视频编码主要技术简介
• 2.2.1 整数变换与量化
• 2.2.2 帧内预测编码
• 2.2.3 帧间预测编码
• 2.2.4 去块效应滤波器
• 2.2.5 熵编码
• 2.3 本章小结
• 第三章 快速运动估计算法研究
• 3.1 视频编码中的运动估计
• 3.1.1 运动估计介绍
• 3.1.2 几种主要的搜索策略
• 3.2 H.264中基于零块判决的快速运动估计算法
• 3.2.1 H.264中的整数变换及量化运算
• 3.2.2 H.264中最佳零块判决阈值的确定
• 3.2.3 H.264中结合零块判决的运动搜索算法
• 3.2.4 实验结果
• 3.3 基于菱形—三角形模板的快速整像素运动估计算法DTS
• 3.3.1 搜索模板概述
• 3.3.2 运动相关性及运动矢量的中心偏置特性
• 3.3.3 基于菱形—三角形模板的快速运动估计算法DTS
• 3.3.4 实验结果
• 3.4 基于菱形—简化正方形模板的快速整像素运动估计算法DSSS
• 3.4.1 DSSS算法所使用的模板
• 3.4.2 DSSS算法的描述
• 3.4.3 DSSS算法的分析
• 3.4.4 实验结果
• 3.5 快速分数像素运动估计算法研究
• 3.5.1 H.264中的分数像素全搜索算法
• 3.5.2 已有的快速分数像素搜索算法简介
• 3.5.3 采用的自适应快速分数像素搜索算法
• 3.5.4 实验结果
• 3.6 本章小结
• 第四章 快速模式选择算法研究
• 4.1 H.264中的宏块分块模式及其模式选择算法
• 4.1.1 H.264中的宏块分块模式
• 4.1.2 H.264帧间片层编码模式选择算法
• Slice）编码模式选择算法'>4.1.3 H.264帧内片层（I_Slice）编码模式选择算法
• 4.2 H.264中快速的帧内编码模式选择算法研究
• 4.2.1 H.264中的帧内预测模式
• 4.2.2 已有快速H.264帧内编码模式选择算法简介
• 4.2.3 采用的快速帧内编码模式选择算法
• 4.2.4 实验结果
• 4.3 H.264中快速帧间编码模式选择算法研究
• 4.3.1 已有快速帧间编码模式选择算法简介
• 4.3.2 采用的快速帧间编码模式选择算法
• 4.3.3 实验结果
• 4.4 本章小结
• 第五章 快速多参考帧选择算法研究
• 5.1 H.264中的多参考帧选择算法
• 5.2 已有快速多参考帧选择算法简介
• 5.3 快速多参考帧选择算法
• 5.3.1 不同序列使用参考帧数的统计结果与分析
• 5.3.2 模式过滤及模式间多参考帧选择的相关性
• 5.3.3 快速多参考帧选择算法的实现
• 5.3.4 实验结果
• 5.4 本章小结
• 第六章 熵编码研究
• 6.1 H.264视频编码标准熵编码介绍
• 6.1.1 H.264中需要传送的语法元素
• 6.1.2 H.264中编码方法介绍
• 6.2 变长编码研究
• 6.2.1 变长编码分析与研究
• 6.2.2 新变长编码方案的实现和性能评测
• 6.3 本章小结
• 第七章 H.264编码器在通用微处理器上的优化实现
• 7.1 通用处理器中多媒体支持功能发展概况
• 7.1.1 通用处理器中的媒体处理功能扩展简史
• 7.1.2 通用处理器中多媒体扩展功能部件的执行方式
• 7.1.3 Intel媒体处理指令集简介
• 7.2 H.264编码器中关键模块的多媒体指令优化
• 7.2.1 SAD计算的多媒体指令优化
• 7.2.2 整数变换及其逆变换的多媒体指令优化
• 7.2.3 SATD计算的多媒体指令优化
• 7.2.4 亚像素插值的多媒体指令优化
• 7.2.5 实验结果
• 7.3 H.264编码器在PC上的优化实现
• 7.3.1 H.264编码器算法优化前后的实验结果对比
• 7.3.2 H.264编码器的总体优化实现
• 7.4 本章总结
• 第八章 结束语
• 8.1 对课题研究的总结
• 8.2 进一步研究和探讨
• 致谢
• 参考文献
• 作者在学期间取得的学术成果
• 附录A 作者在学期间主持或参加的科研项目