电影胶片修复及噪声处理关键技术的研究

论文摘要

旧电影修复技术是计算机视觉、数字图像处理、数字视频处理、数字节目非线性编辑等许多研究领域的核心技术和热点方向。本文针对胶片电影中存在的几种主要失真做了详细研究,其中主要研究了数字电影修复策略、数字修复过程中的基础技术、以及几种典型失真的数学模型,并在充分汲取现有视频处理理论及相关应用中技术优点的基础上,对稳像,划痕,闪烁,图像噪声和低亮度CCD噪声的检测和修复做了细致分析,针对它们在空时域上的数学特征,修复算法的计算复杂度以及图像恢复质量的不足进行了拓展性研究,提出了一些相对应的视频失真检测或恢复方法,从而在有效地增强了图像序列修复质量的同时,还提升了视频编码器处理该类电影序列时的性能。具体的,本论文的主要研究成果如下:首先,阐述了数字实时稳像技术的理论基础,回顾了两种典型的传统稳像算法,设计了一种实时视频稳像系统,包含完整的稳像处理步骤.其中全局运动分析,局部运动块剔除,切边时图像尺寸约束,帧扩边和稳像帧生成步骤都有一定的创新性设计。该系统具有三个工作模式,可以设置不同的输入输出视频尺寸,其对平移和旋转抖动的稳像效果优良,并且速度性能完全能适应低速嵌入式平台环境。其次,阐述了直线划痕的视觉特征,改进了划痕数学模型表达式,同时改进了空间直线划痕检测器的设计,并结合划痕在时间域上低幅度,与全局运动不相关的运动特征,设计了一种基于上述准则进行时域判决的补充算法。这种空时检测器算法具有更大的适用范围和更强的识别能力。第三,阐述了亮度闪烁的视觉特征,描述了多种闪烁数学模型,基于其中的不同模型回顾了SLAR修复算法和Roosmalen的迭代算法,分析了其优缺点,提出一种改进型的SLAR算法(ISLAR),以实现低复杂度快速修复,最后设计了一种基于块的多帧统计恢复算法。以达到更精确的修复效果。最后,提出了一种新的双向细节空时降噪滤波器设计:它由一个噪声估计器,一个运动检测器,一个双向细节检测器和一个三帧高斯自适应加权滤波器构成,使用前两个修复帧和当前帧来达到实时去噪的目的。该滤波器适合处理高斯噪声,面对脉冲噪声和混合噪声时可以增加一个脉冲噪点检测器和一个改进的中心加权中值滤波器来处理。此外,还提出一种针对CCD低亮度噪声的空时多帧平均降噪滤波器算法,其关键是带有一个严格的基于块的运动检测器,为了处理镜头摇摆带来的误判,还增加了全局运动估计和基于块的运动补偿。面对低亮CCD视频,该算法在高效修复的基础上,保持了较低的算法复杂度,有效地去除了低亮场景下的灰度噪声和彩色噪声,并且提升了编码器的编码帧率,降低了压缩流码率。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 引言
• 1.2 电影数字修复技术背景
• 1.3 胶片电影中主要失真的特征描述与数学模型定义
• 1.3.1 随机噪声
• 1.3.2 脏点，灰尘和霉斑
• 1.3.3 划痕
• 1.3.4 电影不稳定（视频抖动）
• 1.3.5 亮度闪烁
• 1.4 电影视频数字修复步骤概述
• 1.5 论文的主要研究内容及研究成果
• 第二章 视频实时稳像技术研究
• 2.1 引言
• 2.2 视频运动分析
• 2.2.1 摄像机运动及参数模型
• 2.2.2 全局运动参数估计
• 2.2.3 有效区域补偿，放大与插值
• 2.3 传统的视频稳定策略
• 2.3.1 基于特征值的跟踪策略
• 2.3.2 基于块的图像运动参数估计
• 2.4 一种基于块选取的实时视频稳像策略
• 2.4.1 实际稳像需求及在应用中经常遇到的问题
• 2.4.2 稳像系统架构描述
• 2.5 实验与仿真
• 2.6 小结
• 第三章 旧电影中直线划痕的数字修复处理
• 3.1 引言
• 3.2 直线划痕和失真图像的数学模型
• 3.3 霍夫（Hough）变换直线检测方法
• 3.4 一种改进的空时划痕检测算法
• 3.4.1 空间划痕检测器设计
• 3.4.2 时域划痕检测器设计
• 3.5 划痕失真区域重建方法
• 3.6 实验与仿真
• 第四章 旧电影闪烁的数字修复处理
• 4.1 引言
• 4.2 数字视频闪烁的数学模型
• 4.3 亮度闪烁对视频编码器的影响
• 4.4 前人的修复方法
• 4.4.1 简单加性闪烁亮度平均修复方法（SLAR）
• 4.4.2 Roosmalen 迭代去闪烁法
• 4.5 改进的SLAR 方法（ISLAR）
• 4.6 基于块的多帧统计平均实时修复方法（MFSA）
• 4.6.1 基于块的视频闪烁的数学模型
• 4.6.2 多帧统计平均
• 4.7 实验结果与分析
• 4.7.1 SLAR 去闪烁滤波器实验
• 4.7.2 Roosmalen 迭代去闪烁滤波器实验
• 4.7.3 ISLAR 去闪烁滤波器实验
• 4.7.4 MFSA 去闪烁滤波器实验
• 4.8 小结
• 第五章 数字视频空时噪声处理技术
• 5.1 引言
• 5.2 噪声特性和传统滤波器设计
• 5.2.1 噪声特性分析
• 5.2.2 Rational 空时降噪滤波器
• 5.2.3 自适应高斯空间降噪滤波器（AGF）
• 5.2.4 自适应阈值平均滤波器（THAF）
• 5.2.5 自适应K-NN 空时降噪滤波器
• 5.2.6 基于内容自适应的视频去噪滤波器（STVF）
• 5.3 双向细节保持空时降噪滤波器（3D-BDP Filter）
• 5.3.1 BDP 滤波器设计原则与架构
• 5.3.2 BDP 滤波器算法设计
• 5.3.3 噪声估计器设计
• 5.3.4 运动检测器设计
• 5.3.5 双向细节检测滤波器组（BDP Filter）
• 5.4 摄像机噪声特性与滤波器设计
• 5.4.1 CCD 噪声特性及低亮度（LLL）场景下的去噪滤波器设计
• 5.5 实验与分析
• 5.5.1 3D-BDP 滤波器实验与分析
• 5.5.2 CCD 低亮度噪声滤波器实验与分析
• 5.6 小结
• 总结与展望
• 参考文献
• 致谢
• 攻读博士学位期间参加的科研项目
• 作者在攻读博士学位期间的学术论文