基于内容的视频应用中运动对象分割与运动估计技术的研究

论文摘要

随着信息技术和互联网技术的飞速发展,多媒体信息量增长越来越快,视频信息量更呈现爆炸式增长。如何有效地管理和利用这些海量视频数据成为当前的研究热点,而人们对多媒体信息的需求也从简单的播放要求转向对内容的访问、检索、操作和分析上。在新兴的视频应用中,基于内容的视频应用日益加速发展,例如基于内容的视频编码和视频检索。而基于内容的视频应用的一个关键的问题就是如何获得视频对象。该问题即为视频对象分割问题。视频对象分割是由视频处理到视频分析的关键环节。鉴于视频对象分割在基于对象的视频应用中的重要性,本文对这该问题进行了研究。而视频对象分割充分利用了运动特征来实现更有效和精确的分割,运动特征体现了视频的时域相关性。此外,运动特征也是基于对象的视频应用中所经常使用的重要的一个特征。因此作为运动特征获得的手段-运动估计技术也是一个非常重要的研究课题。考虑到本文的视频对象分割研究所需要的运动特征,本文也对运动估计法进行了深入研究。本文在第二章首先概括了当前的视频对象分割的发展,并分析了各类视频分割算法,对其中的空时融合分割算法进行了深入分析。对于本文分割问题中的运动估计,由于在运动估计法中,光流法因为其较好的性能得到了广泛的重视。本文对当前的各类光流算法进行了总结,对其理论基础和模型进行了进一步研究,指出了模型理论中所存在的问题,以及光流评价问题。在后面章节安排上,为了便于理解分割算法中运动场的获得,本文首先介绍了光流运动估计方法,然后介绍了分割方法。在光流算法中,全局光流算法能够进行全局平滑,从而具有“填充效果”,这样全局算法可以产生稠密运动场。全局算法中,开创性的HS算法因为其简单性和合理的性能可能已成为应用最广泛的光流算法。然而,HS算法有一些应用限制,特别是光照敏感性、体现平滑和“填充”效果的局部平均的不可靠性,以及运动边缘模糊。本文第三章采用传统的扩展了HS算法。考虑到图像序列中光照在很短的时间内变化很轻微的特点,提出一种简单的基于实体的光照预滤波方法EIPF,该方法稍微调整这很短时间内各帧的像素的亮度,使光流模型满足光照不变的条件。根据前向光流和后向光流的双向对称性的特点定义了反映光流可靠性的置信度,并提出了基于该置信度的光流估计算法。根据置信度,可靠的光流估计对局部平均具有较大的贡献,而不可靠的光流估计则被抑制。这样,实现了可靠的“填充”效果。同时该算法保持了迭代公式的简单性。该算法利用图像驱动和流驱动的运动边缘保存算法具有互补性的特点,有效地将两种方法结合在一起提出了基于区域的运动边缘保存方法。第三章进一步利用该置信度对光流的可靠性进行评价,并扩展了基于能量的置信度,使其能够评价非能量方法得到的光流。由于上述算法利用了传统OFE,而传统OFE一般只能应用于低速运动的光流估计,高速运动会造成传统OFE的一阶线性近似方法具有较大的误差,所以上述算法因为传统OFE的限制在高速运动的估计中具有较大的误差。为了克服传统OFE的限制,第四章分析了高速运动的光流估计技术难点。提出了基于补偿OFE的两步光流法。通过预测光流,从而能够在正确光流附近进行泰勒级数展开,尽管上述预测可减小这种误差,但是OFE的这种一阶线性近似仍是光流算法误差的主要因素,特别是当预测光流与准确光流仍然相差较大时。为了克服上述问题,对OFE进行了二阶补偿从而减小模型进行线性近似所带来的误差。此外,第四章对非二次偏差抑制的平滑方法进行了分析,鉴于传统的非二次偏差抑制具有较大的求解难度和算法实现的复杂度,提出一种基于非二次偏差抑制的平滑方法。它巧妙有效地将非二次抑制函数作用在局部平均计算上。前面介绍了分割算法中运动场（运动特征）的获得方法,在此基础上,第五章提出了一种有效的基于特征的运动检测补偿和权重分水岭的时空分割算法。考虑到视频的空时关系的空时融合分割算法是一类有效的分割方法,第五章首先分析了空时分割算法的技术难点,指出了它所存在的问题。本章所提出的分割算法通过考虑一种新的特征,用基于块的运动检测方法既提高了噪声的鲁棒性又保持了对运动的灵敏性。为了补偿运动目标粗糙的时域模板以实现有效的融合,提出基于边界的形态膨胀方法实现对初始模板的各向异性的空间补偿;并利用运动目标的惯性特征,提出时域补偿方法成功地克服了运动目标的“暂停”现象。并提出一种简单有效的“孔洞”填充方法用来填充其中的“孔洞”。另一方面,空域分割考虑一种全局信息来提高分水岭算法的精确性,并用改进的均值滤波器抑制一些极小点减轻过分割问题。该空时分割算法一个突出性能就是它的融合阈值对于不同的序列可以是固定的。第五章采用了基于6参数仿射模型的全局运动补偿方法来对齐背景,该补偿方法计算难度和计算量较大。为了减小分割算法的计算量,第六章根据第五章所分析的空时融合分割算法的技术难点,提出了一种基于时空补偿的空时融合分割算法。该算法设计了一种基于齐异点消除的方法来估计全局运动矢量。为了检测运动目标,将每一运动场分解为不重叠的块;然后通过比较每一块的运动矢量和全局运动矢量来得到目标的初始模板。为了补偿该粗糙模板,提出了具有距离约束的区域生长算法来实现空域补偿,其增加的距离约束项可防止生长点偏离于相应的目标区域;并提出了一种预测时域补偿来解决运动目标的“暂停”现象。这样得到较为完整的时域模板便于了后续分割。空域分割和时空融合则采用了第五章的相应算法。第六章设计了一种监控系统的运动目标检测算法以得到较为完整的目标时域模板。该检测方法有效地结合了第五章和第六章的空时融合算法中的一些方法,从一定程度上保证了实时性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 选题的背景
• 1.2 基于内容的视频应用的发展现状
• 1.3 选题的意义
• 1.4 本文的主要内容和研究创新成果
• 1.4.1 主要内容
• 1.4.2 研究创新
• 第二章 视频分割和光流估计技术回顾
• 2.1 视频分割的发展现状
• 2.1.1 基于光流的分割
• 2.1.2 基于检测变化区域的分割方法
• 2.1.3 基于空时融合的分割方法
• 2.1.4 基于统计的分割方法
• 2.1.5 基于网格（mesh）模型的分割方法
• 2.1.6 基于Snake 模型的分割方法
• 2.1.7 其他类型的视频分割方法
• 2.2 光流算法的回顾
• 2.2.1 基于微分的方法
• 2.2.2 基于区域匹配的方法
• 2.2.3 基于变换的方法
• 2.2.4 基于相位的方法
• 2.3 典型的微分光流算法及技术难点
• 2.3.1 HS 算法
• 2.3.2 LK 算法
• 2.3.3 CLG 算法
• 2.3.4 光流算法的技术难点
• 2.3.5 光流质量的评价
• 第三章 基于置信度的光流计算
• 3.1 光照预滤波
• 3.2 基于置信度的光流算法
• 3.2.1 置信度
• 3.2.2 高可靠光流的计算
• 3.2.3 运动边缘保存方法
• 3.3 基于置信度的光流可靠性评价
• 3.4 实验结果
• 3.4.1 光照预滤波
• 3.4.2 本文光流算法的实验结果
• 3.4.3 光流场的可靠性分析
• 3.5 本章小结
• 第四章 高速运动的光流估计
• 4.1 高速运动的光流估计技术难点分析
• 4.1.1 传统OFE 应用条件的分析
• 4.1.2 Iu-Lin 的迭代偏移OFE
• 4.1.3 Shi-Li 的位移补偿OFE
• 4.1.4 非线性方法
• 4.2 基于补偿OFE 的两步光流法
• 4.2.1 光流预测
• 4.2.2 基于COFE 的偏差光流迭代
• 4.2.3 基于非二次偏差抑制的平滑方法
• 4.3 实验结果
• 4.3.1 低速运动的估计
• 4.3.2 高速运动的估计
• 4.3.3 参数的优化
• 4.4 本章小结
• 第五章 融合基于特征的运动检测和权重分水岭的时空分割
• 5.1 时空融合分割技术难点分析
• 5.1.1 时域分割
• 5.1.2 空域分割
• 5.2 时空融合分割算法
• 5.2.1 基于特征块的运动检测
• 5.2.2 基于边界的形态膨胀
• 5.2.3 权重梯度图像的分水岭分割
• 5.2.4 时空分割的融合
• 5.3 实验结果
• 5.4 本章小结
• 第六章 基于空时补偿的运动目标检测
• 6.1 基于空时补偿的时空分割算法
• 6.1.1 基于OR 的目标检测和时域补偿
• 6.1.2 具有距离约束的区域生长
• 6.1.3 空域分割和时空融合
• 6.2 监控系统的运动目标检测
• 6.2.1 初始模板的产生
• 6.2.2 空域补偿
• 6.2.3 时域补偿和后处理
• 6.3 实验结果
• 6.3.1 基于空时补偿的时空分割算法
• 6.3.2 监控系统的运动目标检测
• 6.4 本章小结
• 第七章 总结与展望
• 7.1 本文主要工作及创新点
• 7.2 未来工作展望
• 参考文献
• 致谢
• 攻读博士学位期间发表的学术论文