论文摘要
视频技术由于视频压缩编码标准H.264/AVC的出现而向前迈进了一大步。H.264/AVC中包含了许多新技术,这些技术的提出在原有标准的基础之上又进一步减少了视频的时空冗余度。但是,经过压缩的码流对于传输信道的损伤更加敏感,因此利用视频本身的时空相关性来将传输误差降到最低的误差掩盖技术及抗误差技术,得到较多关注。另一方面,计算机视觉与图形学领域在近些年也得到了飞速的发展,例如,图像修复技术以及纹理合成技术都为修复破损的视频信息提出了可能的解决办法,目前图像修复技术已经成功用于重建传输中遭到损伤的图片信息。因此,在有错信道传输中,考虑利用计算机视觉与图形学技术在视频发生错误的时候对丢失的信息进行恢复,成为一个很新颖的学科交叉方向。图像结构的曲率信息是图像中一种极重要的结构变化特征,基于曲率的图像压缩表示,可以通过多尺度的信号分解方式进行逼近。本文提出了一种基于B-spline分解的多尺度结构信息压缩算法,由定义的结构偏移失真测度来控制多尺度取样点的选取,满足给定的带宽要求,压缩后的结构描述可以利用H.264/AVC的抗差错工具冗余Slice进行传输;会在压缩视频信息流出现数据丢失的情况下,帮助视频填充技术获得较好的主观填充效果,给出较佳的重建质量。更进一步,对于在传输中发生局部信息丢失的视频压缩数据流,本文在图形化技术的视频修复过程中力求能在保存原始视频中结构与纹理的同时,最大程度地保证视频信息的时-空一致性。本文提出了一种可以嵌套在H.264/AVC框架中的时-空视频填充算法。其中多参考帧时域填充,是利用一个局部变量――置信度,来将现有图像填充的全局搜索最优化问题在视频场景中简化为一个局部优化问题,确保每一次的块修复能使时-空邻域关联一致性最佳的已知纹理样本块被填入信息丢失的未知区域。该基于置信度的时域填充算法包含三个步骤:基于置信度的信息搜索,空域上的旋转匹配,以及最终的空域填充。本文提出的空域填充技术,不同于传统编-解码器中的误差恢复,是利用信息丢失区域与周围已知邻域的相关性,按结构方向来渐次完成。首先,对于有着复杂结构的区域,基于结构信息的方向插值来填充距离结构信息较近的区域;之后,基于纹理方向的纹理块排放方式与Graph Cuts相结合来合成出大面积的纹理;最后,基于填充顺序的补偿进一步完善空域填充的效果。