基于视觉特性的视频编码技术研究

论文摘要

随着信息化时代的到来,人类也随之进入了一个崭新的网络多媒体时代,作为诸多计算机研究中最为活跃领域之一的多媒体视频编码技术也随着应用要求的改变而不断发展着。近年来,图像和视频压缩取得了很大的进步。然而,图像和视频信息的最终接受者是人,而现今的图像和视频压缩大都是基于像素间的统计冗余的,忽视了知觉上的冗余信息。从本质上说,压缩机制和视觉系统面临着一个相似的问题:怎样以一种高效的方式来描述视觉对象。如果能在压缩系统中采用某种视觉技术来达到获取较低码率和较高视觉质量的目的,是很有意义的。为此,本文对人眼视觉系统的视觉特性进行了研究,提出了基于人眼亮度适应性,时空域掩藏效应等特性的视频压缩方法。视频压缩中,由于人眼实际得到的是解压缩后的图像,因此对重建图像质量的评价是人们非常关心的问题。本文在总结了各种视频质量评测方法的基础上,对基于结构失真的视频质量评测方法SSIM进行了分析和实现,并采用该方法对本文提出的视频压缩方法进行性能评测。人眼的视锥细胞和神经细胞的分配是高度不均匀的,在小凹处密度很高,而周边区域的细胞密度则下降很快。因此HVS对视频图像的分辨率也是高度不均匀的。结合人眼的这种特性,本文对基于小凹的视频编码模型进行了研究,并在此基础上提出了基于内容自适应foveation模型的视频编码方法。在假设关注点在视频图像中心的情况下,根据视频序列的内容对该视频不同区域的分辨率进行调整。实验结果表明,该方法能够获得较好的压缩效率。考虑到观察者在观察视频图像的时候,其关注区域是在不断变化的,并且不同的观察者,其关注区域也是不同的。因此,本文结合运动关注模型给出了基于多关注点的视频压缩方法。在获取了视频帧运动矢量场之后,利用运动矢量强度和运动矢量方向的一致性对视频中的关注区域进行度量。然后根据该度量值,选取用于foveation编码的多个关注点。实验结果表明,该方法能够获得与人工标定关注区域获取相似的结果。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题的研究意义和背景
• 1.2 视频压缩的发展及现状
• 1.2.1 空间冗余及其消除
• 1.2.2 时间冗余及其消除
• 1.2.3 信息熵冗余及其消除
• 1.2.4 视觉冗余
• 1.2.5 知识冗余
• 1.2.6 结构冗余
• 1.3 AVS 视频技术概述
• 1.4 本文主要研究内容及论文组织
• 第2章 基于视觉的视频编码的研究
• 2.1 基于视觉的视频压缩的相关研究
• 2.1.1 基于分析与合成的视频编码
• 2.1.2 基于HVS 评价准则的编码
• 2.1.3 分辨率自适应的视频编码
• 2.2 HVS 特性研究
• 2.2.1 人眼的亮度自适应性
• 2.2.2 对比敏感度函数
• 2.2.3 多通道特性
• 2.2.4 掩藏和促进效应
• 2.2.5 中央凹及周边视力
• 2.3 基于HVS 特性的视觉模型的研究
• 2.4 人眼的信息处理机制和感知模型
• 2.5 本章小结
• 第3章 基于视觉的视频质量的评测
• 3.1 传统的视频质量评测方法分析
• 3.2 基于视觉的视频质量的评测
• 3.2.1 基于视觉的视频质量主观评价
• 3.2.2 基于视觉的视频质量客观评价
• 3.3 常用的基于视觉感知的质量评测方法
• 3.3.1 MOS
• 3.3.2 基于结构失真的质量评测准则
• 3.4 本章小结
• 第4章 基于内容自适应的Foveation 模型的研究
• 4.1 刚能鉴别的失真模型
• 4.1.1 空间域的JND 版本
• 4.1.2 时空域的JND 模型
• 4.2 基于注意的视觉模型
• 4.2.1 Foveation 视觉模型
• 4.2.2 Foveation 视觉模型的应用
• 4.3 内容自适应的Foveation 模型
• 4.3.1 内容自适应的foveation 模型
• 4.3.2 内容自适应Foveation 模型的实现
• 4.3.3 基于内容自适应Foveation 模型的视频编码算法
• 4.4 实验结果及分析
• 4.5 本章小结
• 第5章 基于动态注意的foveation 模型
• 5.1 现有注意力模型的分析
• 5.1.1 视觉注意力机制
• 5.1.2 视觉注意力模型特征
• 5.2 适合于Foveation 编码的动态注意力模型的设计
• 5.2.1 运动关注模型的设计
• 5.2.2 运动关注模型的实现
• 5.3 基于多关注点foveation 模型的视频编码算法
• 5.4 实验结果及分析
• 5.5 本章小结
• 结论
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢