基于视频帧序列的虚拟人脸合成

论文摘要

虚拟人脸合成是将二维的人脸图像、视频监控系统,同三维人脸识别和人脸造型技术相结合的关键技术之一,是一个极富挑战性的课题,极具理论研究价值。目前常用的方法主要是以三维人脸数据库和人脸纹理数据库为主,因数据库的创建比较困难,并且算法复杂、计算量大,与实际应用还有较大差距,因此找到一种实用的人脸合成方法将有着广泛的应用前景和社会意义。本文首先从视频序列中出现的人脸帧中提取出个体人脸特征,对系统中内置的通用中性人脸三维模型进行修改,从而生成一个具有个性化特征的特定人脸三维模型;其次,根据模型与照片匹配时确定出的过渡区域,采用多分辨率技术生成用于纹理贴图的视点无关纹理图;最后,对调整好的模型进行纹理映射,生成特定人的虚拟人脸。此外,本文根据人脸在生成表情时所具有的特点,在MPEG-4脸部动画参数的标准上,修改脸部相应部位的参数,实现了几种典型的虚拟人脸表情。为了解决网格模型粗糙带来的虚拟人脸表现不自然的问题,本文在虚拟人脸表面光顺性上,采用网格细分法,细分脸部网格模型,使细分后的三角形网格在保持原粗略网格的拓扑不变的前提下,实现虚拟人脸光滑细化,在视觉上更加逼真。实验结果表明,本文提出的算法可以利用视频帧序列中的任意姿态的人脸照片序列,有效地生成具有真实感的三维人脸模型,获得逼真的具有一定表情的虚拟人脸,并可以进行多角度的旋转观察。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 课题背景
• 1.2 研究意义及应用
• 1.3 国内外研究现状
• 1.3.1 人脸建模研究现状
• 1.3.2 人脸表情动画研究现状
• 1.3.3 国内研究现状
• 1.4 本文的研究内容及章节安排
• 1.4.1 本文研究内容
• 1.4.2 本文章节安排
• 2 相关基础知识
• 2.1 通用人脸模型
• 2.1.1 模型选用标准
• 2.1.2 CANDIDE-3人脸模型
• 2.2 三维显示知识
• 2.2.1 OpenGL简介
• 2.2.2 基本图元
• 2.2.3 图元绘制
• 2.2.4 纹理映射
• 3 虚拟人脸合成
• 3.1 人脸区域检测
• 3.1.1 肤色提取
• 3.1.2 人脸区域分割
• 3.2 特征点提取
• 3.2.1 眼部特征点定位
• 3.2.2 嘴部特征点定位
• 3.2.3 人脸姿态估计
• 3.3 模型调整
• 3.3.1 模型粗调
• 3.3.2 模型局部细调
• 3.4 视点无关纹理图的生成
• 3.4.1 构造高斯金字塔
• 3.4.2 拉普拉斯高斯金字塔
• 3.4.3 无缝拼接图
• 3.5 三维虚拟人脸合成
• 4 虚拟表情生成
• 4.1 MPEG-4脸部动画参数标准
• 4.2 表情合成
• 4.3 表情合成效果
• 5 虚拟人脸插值细化
• 5.1 细分插值
• 5.2 虚拟人脸细分
• 6 总结及展望
• 6.1 实验条件
• 6.2 总结
• 6.3 展望
• 致谢
• 参考文献
• 已发表论文及科研情况