基于可视媒体融合的二维数字角色生成研究

论文摘要

通过图像、视频、3D模型和运动捕获数据等可视媒体进行数字角色生成的研究已成为热点。数字角色由纹理、形状和行为三方面要素构成,并来源于图像、视频、3D模型和运动捕获数据等可视媒体。因此,对可视媒体的融合处理,充分发挥各种可视媒体的优势,提高数字角色生成的效率和质量,成为结合图形学、计算机视觉、图像/视频信号处理等领域的一个新兴研究方向。本文提出的可视媒体融合框架,将图像、视频、运动捕获数据和三维模型这四类能被人类视觉所感知,能通过相应的硬件设备制作获取,能被编辑、压缩/解压及存储的媒体定义为可视媒体,将计算机数字角色动画中出现的各类研究从可视媒体融合的角度系统分类。为了提高二维数字角色的制作效率及质量,引入可视媒体融合理论,提出了基于可视媒体融合的二维数字角色生成新思路。提出具有鲁棒性及高抗噪性的多风格二维数字角色提取算法。基于二维数字角色图像中的灰度信息,计算图像中每帧的梯度并检测出角色的轮廓,对轮廓采用像素填充算法获得侧影并提取。其中轮廓提取是逐一计算每个像素点在灰度上的二阶导数,并通过高斯.拉普拉斯算子(Laplacian of Gaussian,简称LOG)近似得到,当某一点的二阶导数为零时,则该点被定为边界的一部份。边界图像的噪音,采用卷积算法去除。提出基于低维流形空间的自适应二维数字角色融合算法。采用全局流形降维技术(ISOMap),依据距离矩阵确定当前结点与周围邻居结点之间的距离为最短路径,由此构建无向图;基于无向图计算任意两点之间的最短路径,得到最短路径图;采用多元尺度分析(Multidimensional scaling,简称MDS)算法构建低维空间。基于该低维内嵌空间,由用户在空间中任意指定两点作为起点和终点,基于两点之间最短路径所包含的卡通帧合成二维数字角色动画。提出基于扩散激发图模型(Constrained Spreading Activation Network,简称CSAN)的二维数字角色融合算法。分析不同特征(包括欧式边界距离,霍氏边界距离,运动距离,颜色直方图距离及分块子区域颜色距离)对二维数字角色动画平滑度的影响,引入模糊关联度计算特征权重;精确计算任意两帧之间的相似度并构建扩散激发图模型;基于该模型,依据用户的轨迹输入,生成二维数字角色动画。提出基于背景计算的交互式二维数字角色自动生成框架。基于二维数字角色库,构建扩散激发图模型;由用户在二维场景图像中任意绘制轨迹并自动生成新的二维数字角色动画;通过灭线计算得出二维数字角色在场景中的比例透视关系,将场景与动画相融合。该方法使用户直接面对场景绘制轨迹,并控制二维数字角色在场景中的运动,其灵活性及易用性适合用户的操作习惯。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 研究动机
• 1.2 本文的研究思路
• 1.3 本文的贡献
• 1.4 论文的组织
• 第2章 计算机数字角色动画生成中的可视媒体融合趋势
• 2.1 人体角色动画
• 2.1.1 基于关键帧插值的人体角色动画
• 2.1.2 基于运动学知识的人体角色动画
• 2.1.3 基于数据驱动的人体角色动画
• 2.2 人脸角色动画
• 2.2.1 基于关键帧插值的人脸角色动画
• 2.2.2 基于参数化的人脸角色动画
• 2.2.3 基于模型的人脸角色动画
• 2.2.4 基于数据驱动的人脸角色动画
• 2.3 二维数字角色动画
• 2.3.1 传统二维数字角色动画
• 2.3.2 计算机辅助二维数字角色动画
• 2.3.3 基于数据驱动的二维数字角色动画
• 2.4 小结
• 第3章 可视媒体融合理论
• 3.1 可视媒体融合定义
• 3.2 可视媒体融合框架
• 3.3 可视媒体融合分类研究
• 3.3.1 视频融合
• 3.3.2 图像融合
• 3.3.3 三维模型融合
• 3.3.4 运动捕获数据的融合
• 3.3.5 视频和三维模型的融合
• 3.3.6 运动捕获数据和三维模型的融合
• 3.3.7 图像和三维模型的融合
• 3.3.8 视频与图像的融合
• 3.3.9 运动捕获数据与图像的融合
• 3.3.10 图像，三维模型及运动捕获数据融合
• 3.3.11 结论及分析
• 3.4 新融合方向的提出
• 3.5 小结
• 第4章 二维数字角色生成中的可视媒体融合探究
• 4.1 基于可视媒体融合的动画研究现状
• 4.1.1 基于运动过渡的运动数据融合
• 4.1.2 基于物理学/动力学原理的运动数据融合
• 4.1.3 基于运动图建模的运动数据融合
• 4.1.4 基于子空间分析的运动数据融合
• 4.2 二维数字角色动画制作中的可视媒体融合
• 4.2.1 二维数字角色的融合重用
• 4.2.2 基于运动捕获数据的二维数字角色融合生成
• 4.3 小结
• 第5章 二维数字角色的提取
• 5.1 角色提取
• 5.2 角色运动提取
• 5.3 小结
• 第6章 影响二维数字角色相似度的特征分析
• 6.1 数据集的建立
• 6.2 边界特征
• 6.2.1 欧式边界距离
• 6.2.2 霍氏边界距离
• 6.3 运动特征
• 6.4 颜色特征
• 6.4.1 颜色直方图距离
• 6.4.2 分块颜色距离
• 6.5 小结
• 第7章 基于可视媒体融合的二维数字角色生成
• 7.1 基于流形空间的自适应二维数字角色融合
• 7.1.1 ISOMap低维空间的建立
• 7.1.2 实验设置
• 7.1.3 实验结果
• 7.2 基于扩散激发图模型的二维数字角色融合
• 7.2.1 基于扩散激发图模型的数据选取
• 7.2.2 基于模糊一致关系的权值计算
• 7.2.3 特征性能评价实验
• 7.2.4 算法性能测试
• 7.2.5 实验结果及讨论
• 7.3 小结
• 第8章 基于场景计算的交互式二维数字角色动画生成框架
• 8.1 场景计算
• 8.2 交互式的二维数字角色动画生成
• 8.2.1 基于低维空间的交互式动画生成
• 8.2.2 基于扩散激发模型的交互式动画生成
• 8.2.3 结果及讨论
• 8.3 小结
• 第9章 结论与展望
• 9.1 结论
• 9.2 展望
• 参考文献
• 在攻博期间发表的文章、专利申请及参与项目情况
• 1. 发表论文
• 期刊论文
• 会议论文
• 在审论文
• 2. 专利申请
• 3. 参与的相关科研项目
• 致谢