基于大位移视图的图像修补技术研究

论文摘要

图像修补是指去除图像中不需要的景物或者修复缺损区域并使得修复后的图像看起来和谐、自然。由于在照片编辑、影视特效制作和文物保护等领域的广泛应用,图像修补技术一直是计算机图形学、图像处理和计算机视觉交叉领域的一个研究热点。传统的基于单幅图像的图像修补方法本质上是一个欠约束的病态问题,本文提出并研究基于大位移视图的图像修补技术,即利用大位移视点图像中的已知信息来修补当前视点图像中的被遮挡或丢失信息区域。算法的关键是如何将大位移视图中的已知信息转化为当前视图的可用信息并利用其来修补目标区域。首先,本文提出一种基于交互的平面场景分割的方法。在用户的协助下,算法首先交互地将两个视图分割为多个对应的平面场景区域,然后将大位移视图中的相关平面场景区域变换到目标图像视图上;结合基于图割算法的图像拼接、基于纹理合成的边界修复和基于像素融合的缝隙填充技术,我们提出一个适用于多候选平面场景重投影图像的图像修补新算法来修补目标图像。修补结果中存在的亮度差异通过基于泊松方程的图像混合算法消除,以达到无缝的修补效果。然后,注意到由于大位移视图中用于修复目标图像的源图像区域并不是一个平面场景,当它们重投影到当前视图上后可能会形成透视畸变。本文提出一种大位移视图重投影畸变最小化的方法,采用由粗到细的畸变校正算法来消除大位移视图重投影后的透视畸变。算法首先基于平面场景假设,利用单应矩阵将大位移视图的源图像区域做重投影得到初始的校正结果;然后,在颜色恒常性和位移场光滑性的期望下,通过像素对应的能量优化方法松弛两视图之间的公共场景区域存在的畸变;最后,在极线几何、邻域像素的位移场光滑性和颜色一致性约束下,空洞中的像素按照定义的优先级次序依次得到修复。最后,本文研究了一种基于多层次场景聚类与视点一致性合成的方法。我们提出一个由粗到细的多层次场景聚类算法,将传统的单模型拟合方法扩展到多模型拟合,通过对大位移视图与目标图像上特征匹配点集的聚类分析和外点剔除,在采用基础矩阵表示的极线几何模型的约束下将含有多个相对运动刚体的动态场景分割为多个运动模型,在采用单应矩阵表示的平面场景模型的约束下将静态场景分割为多个近平面场景区域。为了解决近平面场景区域重投影后的图像修补问题,我们提出基于蒙太奇和结构位移传播的视点一致性合成算法来缝合空洞区域,它主要包括基于结构位移传播的畸变预校正、基于蒙太奇的空洞缝合和基于结构位移传播的畸变后处理三个步骤。实验证明,我们的方法优于传统的图像修补算法,特别是对于修补具有复杂结构信息的较大丢失信息区域显示出明显的优势。

论文目录

• 摘要
• Abstract
• 目录
• 第1章 绪论
• 1.1 研究背景
• 1.1.1 问题描述
• 1.1.2 评价标准
• 1.2 国内外研究现状
• 1.2.1 图像修补技术
• 1.2.2 视频修补技术
• 1.3 应用领域
• 1.3.1 受损图像修复
• 1.3.2 数字视觉特效
• 1.4 本文工作
• 第2章 基于大位移视图的图像修补技术
• 2.1 传统图像修补方法分析
• 2.1.1 传统方法的优缺点分析
• 2.1.2 修复质量的评价依据分析
• 2.2 基于大位移视图的图像修补
• 2.3 面临的技术挑战
• 2.4 本章小结
• 第3章 基于交互的平面场景分割的方法
• 3.1 基本思想
• 3.2 大位移视图中可见信息的转换
• 3.2.1 平面场景的分割
• 3.2.2 特征提取与匹配
• 3.2.3 单应矩阵的求解
• 3.2.4 重投影图像的获取
• 3.3 一个新的图像修补算法
• 3.3.1 基于图割算法的图像拼接
• 3.3.2 基于纹理合成的边界修复
• 3.3.3 基于像素融合的缝隙填充
• 3.4 泊松图像混合算法
• 3.5 实验结果
• 3.6 本章小结
• 第4章 基于大位移视图重投影畸变优化的方法
• 4.1 算法综述
• 4.2 基于单应矩阵的大位移视图重投影
• 4.3 基于能量优化的重叠像素对应
• 4.3.1 能量函数模型
• 4.3.2 误匹配检测机制
• 4.4 基于能量优化的丢失像素估计
• 4.4.1 目标函数模型
• 4.4.2 修补优先级函数
• 4.4.3 算法伪代码
• 4.5 结果与讨论
• 4.6 本章小结
• 第5章 基于多层次场景聚类与视点一致性合成的方法
• 5.1 基本思想
• 5.2 面临的挑战
• 5.2.1 整个场景的合理分割
• 5.2.2 视觉合理的空洞填充
• 5.2.3 鬼影消除问题
• 5.3 多层次场景聚类
• 5.3.1 先验模型与模型拟合问题
• 5.3.2 场景的几何层次与模型选择问题
• 5.3.3 由粗到细的多层次场景聚类算法
• 5.4 视点一致性合成
• 5.4.1 图像拼接问题
• 5.4.2 基于蒙太奇和结构位移传播的空洞填充
• 5.5 实验结果
• 5.6 本章小结
• 第6章 总结与展望
• 6.1 本文工作总结
• 6.2 未来工作展望
• 参考文献
• 攻读博士学位期间主要的研究成果
• 致谢