2.1维简约图的表达、计算与应用

论文摘要

从单幅图像中获取其中的深度信息和恢复被遮挡物体的轮廓是图像分析和理解的重要基础，这在计算视觉研究中称为2．1维简约图（2．1D Sketch）或分层表达（LayerRepresentation），该研究可用于目标识别，运动分析与跟踪等研究中，因而2．1维简约图是计算机视觉研究中的一个重要课题。本文在贝叶斯框架下用混合马尔科夫随机场（Mixed Markov Random Field）从单幅图像出发来计算其2．1维简约图。根据2．1维简约图研究对象的特点，在计算2．1维简约图的过程中，首先要为2．1维简约图建立一个合适的表达框架，然后还需要同时处理以下3个重要任务：（1）区域的着色／分层（Coloring/Layering）；（2）轮廓的填充（Contour Completion）；（3）多义性解释（Ambiguity Interpretention）。为解决2．1维简约图的表达问题，本论文建立了一个从实际图像到2维简约图表达再到2．1维简约图表达的3层模型，其中2维表达包含了一定数量的闭合区域和一定数量的终结点（Terminator）。闭合区域的外轮廓是从图像中计算的原始简约图集合中得到的，而终结点是在对所有区域的轮廓进行3度顶点（3-Degree-Junction）检测并把3度顶点分离成终结点和线段（Line Segment）之后得到的，终结点同时被赋给所属的区域作为开放顶点（Open Bonds）或地址变量（Address Varialbes），而线段只是作为区域轮廓的一部分，不参与区域分层和轮廓填充计算。在计算过程中，将会根据得到的区域层次结构用吉布斯采样为地址变量进行赋值，之后根据终结点之间的连接关系利用终结点的方向和位置信息进行区域轮廓填充。2维简约图的表达中包含了区域和终结点两种类型的顶点，本论文对这种顶点结构用混合马尔可夫随机场模型进行建模。混合马尔可夫随机场不同于传统的马尔可夫随机场在于其顶点结构的表达，既包含了传统的马尔可夫随机场模型中的顶点，又引入了控制变量，该模型的这种特点适合为2．1维简约图的2维表达进行建模。2．1维简约图表达中包含了区域集，终结点集，表面集和轮廓集。区域集包含了层次数量和每层中区域的标号信息，终结点集中包含了每层中终结点的标号信息，而表面集包含了表面个数和组成表面的区域标号信息，轮廓集包含了轮廓填充信息。为从图像中推出2．1维简约图，本论文基于混合马尔科夫随机场表达的图结构提出了一种推理算法，该推理算法能同时解决区域着色，轮廓填充和多义性解释这3个前述2．1维简约图问题中重要任务。该推理算法在推理过程中最大化区域和地址变量两种顶点的联合贝叶斯后验概率：（1）基于SW割集（Swendsen-Wang Cuts）算法的区域着色／分层，把所有区域以邻域关系及相应的区域特征划分到相应的层次中，形成偏序关系；（2）基于吉布斯采样（Gibbs Sampling）的地址变量（Address VariablesAssignment）赋值，为后续的轮廓填充提供开放顶点的地址变量分配关系；（3）为了解释2．1维简约图问题中解的不确定性和多义性，用K风险（K-Adventure）方法通过对后验概率进行采样获得可能的多个不同的合理解释。在推理过程完成之后，区域被划分成一个新的分层表达的结构，且根据该分层表达结构按照地址变量和区域的所属关系以及地址变量的赋值，可以用弹性条（Elastica）等方法进行轮廓的填充。作为2．1维简约图表达的一个应用，本论文提出了一种矢量化卡通生成方法。把一幅图像用交互式的方法得到其结构图和分割，这样一幅图像就可以分成两部分来表达：结构图用来表达其骨架部分，区域用来表达其纹理部分。用本论文所提方法可得到分层的矢量图表达，用户可以方便地进行编辑或重组成其它形状的物体。本论文中用大量图像进行了实验，获得了良好的实验结果。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 引言
• 1.2 2.1维简约图问题描述
• 1.3 2.1维简约图和格斯塔心理学之间的联系
• 1.4 国内外研究状况及进展
• 1.5 本论文主要工作
• 1.6 课题来源及内容安排
• 2 2.1维简约图问题表述和建模
• 2.1 输入数据定义及预处理
• 2.2 基于混合马尔科夫随机场的2.1维简约图表达
• 2.3 2.1维简约图的贝叶斯表述
• 2.4 本章小结
• 3 2.1维简约图推理算法和实验
• 3.1 顶点之间边的判别式概率定义
• 3.2 2.1维简约图推理算法
• 3.3 2.1维简约图实验结果
• 3.4 基于2.1维简约图的深度分割实验结果
• 3.5 本章小结
• 4 基于2.1维简约图表达的矢量化卡通生成方法研究
• 4.1 卡通生成方法概述
• 4.2 卡通生成的图结构表达
• 4.3 基于2.1维简约图表达的卡通生成方法
• 4.4 卡通的渲染
• 4.5 实验结果
• 4.6 本章小结
• 5 总结与展望
• 5.1 本论文的主要贡献
• 5.2 进一步的研究
• 致谢
• 参考文献
• 附录1 攻读学位期间发表的论文目录
• 附录2 攻读学位期间参加的主要科研项目