论文题目: 人脸感知：基于学习的人脸跟踪与合成
论文类型: 博士论文
论文专业: 计算机科学与技术
作者: 苏从勇
导师: 庄越挺
关键词: 模式识别,计算机视觉,机器学习,图像,视频理解,人脸分析与识别,人脸跟踪,人脸合成,贝叶斯理论,概率图模型,流形学习
文献来源: 浙江大学
发表年度: 2005
论文摘要: 人脸感知可由分析与合成人脸两部分构成。人自身对人脸非常熟悉和敏感。人可以轻而易举地识别出不同的人脸、不同的人脸表情，并可在脑海中浮现出不同人脸的形状，艺术家可以描绘出神态各异的人脸。然而这种对于人来说与生俱来的分析与合成能力对计算机而言却非常地困难。机器学习提供了一种可能的解决途径。 本文围绕人脸这个对象，以基于学习的方法为主线，研究了基于视频流的人脸运动数据获取的分析算法和基于图像的人脸建模、超分辨率、表情幻想等合成算法。 文中首先讨论了基于图像的个性化人脸建模。提出一种基于合成分析的个性化人脸三维模型建模方法，通过分析合成的人脸图像纹理与输入图像纹理的差异，使用纹理差异来指导对人脸网格进行局部自适应细分，进而对合成的人脸三维模型不断地调整，从而使得最终生成的人脸三维模型具有更高的真实感。 为了从视频流中提取基于人脸面部特征的运动数据，本文研究了人脸多特征跟踪算法。先后提出了基于贝叶斯网络增强预测模型的跟踪方法和基于时空概率图模型的跟踪方法。后者将传统的单特征跟踪器——粒子滤波与信任度传播算法成功地结合在一起。首先在时间域上，使用几个相互独立的Condensation类型的粒子滤波器分别跟踪人脸的每个特征。粒子滤波对独立的视觉跟踪问题非常有效，但是多个独立的跟踪器忽视了人脸的空间约束和人脸特征间的自然相互联系。然后在空间域上，事先从人脸表情库中学习人脸特征轮廓的相互关系，使用贝叶斯推理—信任度传播算法来对人脸特征的轮廓位置进行求精。 有些已经存在的视频流中人脸区域太小，以至于无法对人脸特征进行有效的跟踪，为此本文对图像中的人脸进行了超分辨率(Super-resolution)研究。提出基于steerable金字塔和贝叶斯估计的人脸超分辨算法。采用steerable金字塔学习人脸图像中的低层次局部特征的空间分布，并结合塔状的父结构和局部最优匹配算法来预测最佳先验模型；然后将先验模型结合到贝叶斯最大后验概率框架中；最后使用最速下降法(Steepest Descent)求出最优的高分辨率人脸图像。 基于人脸照片总是具有最高的真实感这一出发点，为了合成具有真实感的未知人脸表情，本文提出人脸表情幻想(Hallucination)的新方法。给定某个人中立的人脸图像，可以使用流形学习等方法预测出他的其它表情人脸图像。与现有的表情克隆或者图像类比方法不同，本文在一个人脸表情库的帮助下来幻想出合理的人脸表情。在第一步中，使用非线性流形学习来获取对未知人脸表情的一个平滑估计。在第二步中，使用马尔可夫网络来学习训练库中中立与具有表情的残差人脸图像中低层次人脸特征的相互关系，然后使用信任度传播算法来推理出该人的具有表情的残差人脸图像。通过把这两步结合在一起，获得最终的结果。 在每一章的实验部分，给出了对如上人脸感知—人脸跟踪与合成算法的分析和原型实现。另外一些相关算法也逐步集成到正在构建的基于视频流的真实感人脸动画系统中。关键词:模式识别，计算机视觉，机器学习，图像/视频理解，人脸分析与识别，人脸跟踪，人脸合成，贝叶斯理论，概率图模型，流形学习第2页
论文目录:
摘要
Abstract
第1章 引言
1.1 研究动机
1.2 研究问题
1.3 本文工作
1.4 论文组织
第2章 人脸跟踪与合成综述
2.1 引言
2.2 人脸检测
2.2.1 在单张图像中检测人脸
2.3 人脸跟踪
2.3.1 人脸及人脸特征跟踪概述
2.3.2 人脸／人头跟踪
2.3.3 人脸特征跟踪
2.4 人脸分析与合成
2.4.1 人脸分析
2.4.2 人脸表情合成
2.5 小结
第3章 从正交图像生成人脸模型的合成分析方法
3.1 算法流程
3.2 通用人脸模型
3.3 Synthesis过程
3.3.1 通用三维人脸变形
3.3.2 人脸网格模型建立
3.3.3 纹理合成
3.3.4 纹理映射
3.4 Analysis和细分反馈过程
3.4.1 三角面片的相似度度量
3.4.2 局部自适应细分反馈算法
3.5 实验结果
3.6 小结
第4章 基于贝叶斯网络增强预测模型的人脸多特征跟踪
4.1 引言
4.2 特征轮廓表示
4.3 人脸特征轮廓的空间降维
4.4 多重提示预测模型
4.4.1 基于二阶自回归过程的动力学模型
4.4.2 使用图模型来增强预测
4.4.3 基于低层次特征的人脸预跟踪
4.4.4 人脸特征间空间约束
4.4.5 多重提示融合预测
4.4.6 融合基于二阶自回归过程的动力学模型与基于图模型的动力学模型
4.5 观测模型
4.6 实验结果
4.7 小结
第5章 基于概率图模型的人脸多特征跟踪
5.1 引言
5.2 由粒子滤波来对人脸多特征进行跟踪
5.2.1 使用多个粒子滤波器的必要性
5.2.2 只使用多个独立粒子滤波器的局限性
5.3 结合粒子滤波和信任度传播算法
5.3.1 有环信任度传播
5.3.2 在时空概率图模型中的信任度传播算法
5.3.3 学习相关函数
5.3.4 优化马尔可夫网络的贝叶斯推理
5.4 实验结果
5.5 小结
第6章 基于steerable金字塔的人脸图像超分辨率
6.1 引言
6.2 人脸图像超分辨率的贝叶斯估计
6.3 先验模型建立
6.3.1 图像低层次局部特征
6.3.2 特征向量
6.3.3 塔状父结构
6.3.4 局部最优匹配
6.3.5 预测先验模型
6.4 观测模型建立
6.5 集成与优化
6.6 实验结果分析
6.7 小结
第7章 人脸表情幻想
7.1 引言
7.2 第一步：基于流形学习和推理的人脸表情图像合成
7.2.1 维数约减
7.2.2 非线性流形
7.2.3 获得中立人脸图像的本征参数
7.2.4 获得输入中立人脸图像的低维人脸本征参数
7.2.5 学习中立和“愉快”人脸本征参数对之间的关系
7.2.6 从低维人脸本征参数重建人脸图像
7.2.7 推理
7.3 第二步：使用基于局部小块的模型来进行求精
7.3.1 马尔可夫网络
7.3.2 ψ_(ij)和φ_i
7.3.3 通过信任度传播算法学习“愉快”残差人脸图像
7.3.4 使用图切割进一步求精
7.4 实验结果
7.5 小结
第8章 系统框架设计与实现
8.1 引言
8.2 系统总体框架设计
8.2.1 基于视频流的非真实感人脸动画
8.2.2 基于视频流的真实感3D人脸动画
8.2.3 基于运动捕获数据的真实感3D人脸动画
8.2.4 全身真实感动画
8.3 由运动数据直接驱动3D人脸模型
8.3.1 变形核
8.3.2 径向基函数
8.3.3 实验结果
8.4 系统模块界面图
8.4.1 人脸跟踪子系统
8.4.2 人脸建模子系统
8.4.3 人脸驱动子系统
8.5 小结
第9章 结论与展望
9.1 结论
9.2 展望
参考文献
作者在攻博期间发表(或录用)的文章及参与项目
发表论文
参与的项目
致谢
发布时间: 2005-03-25
参考文献
- [1].人脸跟踪与识别的研究[D]. 刘青山.中国科学院研究生院（自动化研究所）2003
- [2].视频人脸跟踪识别算法研究[D]. 江艳霞.上海交通大学2007
- [3].基于单目视频相机的实时人脸跟踪与动画方法研究[D]. 曹晨.浙江大学2016
- [4].基于立体显示的嵌入式身份识别系统研究与设计[D]. 吴翔.华东师范大学2009
- [5].基于粒子滤波器的视频图像序列目标跟踪[D]. 姚海涛.武汉大学2011
- [6].基于视频的人体目标跟踪与识别技术研究[D]. 余杰.电子科技大学2016
标签：模式识别论文; 计算机视觉论文; 机器学习论文; 图像论文; 视频理解论文; 人脸分析与识别论文; 人脸跟踪论文; 人脸合成论文; 贝叶斯理论论文; 概率图模型论文; 流形学习论文;