人脸表情的识别、重建与合成

论文题目: 人脸表情的识别、重建与合成

论文类型: 博士论文

论文专业: 计算机科学与技术

作者: 宋明黎

导师: 陈纯

关键词: 表情识别,基于的主动形状模型,滤波,主动外观模型,二元语音,参数特征,三元,纹理映射,速度场,人脸模型对齐,人脸网格模型对应,基于分解的人脸表情映射,人脸表情合成

文献来源: 浙江大学

发表年度: 2005

论文摘要: 近30多年来,通过计算机对人脸表情进行自动处理成为当前计算机视觉、计算机图形学、模式识别等领域的一个热点研究课题,在视频会议、影视制作、智能人机接口等方面有着广泛的应用前景。本文的工作主要集中在两个方面,一方面是对人脸表情进行识别,另一方面是对人脸进行重建,合成人脸表情。 提出论文的研究背景和研究内容,回顾人脸表情识别(基于静态图像、视频及语音视频)、人脸重建以及表情合成的相关技术,分别对这些方法进行分类和比较,指出其优点和不足之处,并给出研究的难点。 针对人脸表情识别,根据输入数据的不同,分三章进行阐述。 第三章提出基于GPU的主动形状模型(ASM)用于对静态图像中的人脸表情特征进行跟踪和提取,通过基于GPU的边界滤波和调和映射,使对象梯度轮廓梯度得到增强,减少模型匹配收敛的迭代次数和搜索时间,在速度和准确度上都比传统的ASM有很大提高。进而采用SVM进行表情分类。 对于动态视频序列,第四章提出基于Kalman预测的AAM视频跟踪算法,利用当前帧跟踪结果通过Kalman滤波预测下一帧中关键点的位置,并采用跟踪结果对形状模型进行更新,从而减少搜索空间,使在视频中进行人脸特征搜索的速度得以提高。提出一个基于二元隐马尔科夫模型(Hidden Markov Model,HMM)的视频人脸表情识别模型,将跟踪的特征进行分割构造两个独立的特征向量流,使表情动作和嘴巴的动作得以分离,既保持二者的时间关联性,又保持在人脸运动中的独立性,使识别的准确率得到提高。 在第四章工作的基础上,第五章对二元HMM进行推广,提出一个三元HMM及其相关的Viterbi最优路径搜索算法和模型训练算法,引入情绪语音,实现语音辅助的人脸表情识别,并通过设置权重平衡视觉特征和语音特征的影响,使平均识别率取得了提高,识别更为鲁棒。 对于人脸重建和表情合成,工作集中在快速人脸纹理映射和高分辨率人脸网格模型表情生成这两个问题上。 第六章提出一个基于RBF速度场的实时交互纹理映射算法,避免对特征点的全局操作导致的复杂交互和较大系统开销,使纹理映射变得简单快捷,系统开销大大降低,实现基于单幅照片的人脸快速纹理映射,最后通过FAP参数驱动获得不同表情的人脸。 第七章在进行人脸网格的对齐方面,提出基于SVD的三维人脸网格对齐算法,使不同尺度、方向和位置的人脸网格模型取得对齐;在实现不同人脸网格之间的对应上,提出基于GPU的网格图像反馈对应算法,解决以往算法需要迭代逼近取得对应的计算复杂度高、时间开销大的问题;在表情的映射上,提出基于Helmholtz-Hodge分解的网格变形映射算法,解决以往方法导致的速度和“瑕疵”问题。另外,基于新的人脸表情映射方法,提出一个基于通用控制网格的人脸表情合成方法,实现无表情样本目标人脸上的表情合成。

论文目录:

第一章 绪论

1.1 人脸表情识别、重建与合成的难点

1.2 研究人脸表情识别、重建与合成的意义及应用

1.3 本文的主要目标和工作

1.3.1 人脸表情的分析识别

1.3.2 真实感表情人脸重建与合成

1.4 本文章节的组织结构

第二章 人脸表情识别、重建与合成技术回顾

2.1 人脸表情识别技术回顾

2.1.1 基于静态图像的人脸表情识别

2.1.2 基于视频序列的人脸表情识别

2.1.3 语音辅助的人脸表情识别

2.2 真实感人脸建模与表情合成技术

2.2.1 三维真实感人脸建模技术

2.2.2 人脸表情合成技术

2.3 本章小节

第三章 GPU增强的人脸表情识别

3.1 GPU基本知识

3.2 基于GPU的主动形状模型

3.2.1 主动形状模型(ASM)分析

3.2.2 基于GPU的主动形状模型

3.3 基于GASM+SVM的表情识别

3.3.1 SVM基本知识

3.3.2 基于GASM+SVM的表情识别方法

3.4 实验和结果分析

3.5 本章小节

第四章 基于动态视频序列的二元HMM人脸表情识别

4.1 人脸特征提取和向量化

4.1.1 动态视频序列中的人脸特征点跟踪

4.1.2 异步独立的表情特征提取

4.2 基于二元HMM的人脸表情识别模型

4.2.1 HMM基础知识

4.2.2 二元HMM的定义

4.2.3 基于二元HMM人脸表情识别模型的训练

4.2.4 基于动态视频序列的人脸表情识别

4.3 实验和结果分析

4.4 本章小节

第五章 基于三元HMM的语音辅助人脸表情识别

5.1 语音辅助的人脸表情识别技术的难点分析

5.2 语音辅助人脸表情识别中的特征提取和量化

5.2.1 语音特征的提取

5.2.2 特征向量的量化算法

5.3 基于THMM的语音辅助人脸表情识别

5.3.1 三元HMM的定义及其与其他异步HMM的区别

5.3.2 三元HMM的训练

5.3.3 基于三元HMM的语音辅助表情识别

5.4 实验和结果分析

5.5 本章小节

第六章 基于单幅照片的快速人脸纹理映射

6.1 基于单幅照片的快速人脸纹理映射的研究背景

6.1.1 基于单幅照片人脸纹理映射的应用需求

6.1.2 人脸纹理映射的基本知识及回顾

6.2 基于RBF速度场的实时交互快速纹理映射算法

6.2.1 纹理图像和三维模型的获取

6.2.2 基于单幅照片的快速纹理映射算法

6.3 实验和结果分析

6.4 本章小节

第七章 面向高分辨率网格的三维人脸表情映射与合成

7.1 人脸表情映射与合成相关技术

7.1.1 基于高分辨率网格人脸表情映射技术回顾

7.1.2 高分辨率三维人脸表情合成的特点

7.2 基于高分辨率网格的人脸表情映射

7.2.1 预备工作

7.2.2 传统的人脸网格对应算法

7.2.3 基于网格图像的反馈对应算法

7.2.4 基于网格变形的人脸表情映射

7.2.5 实验结果与分析

7.3 基于高分辨率网格的真实感人脸表情合成

7.3.1 传统的基于样例的人脸表情合成

7.3.2 基于通用控制网格的表情合成

7.3.3 实验结果与分析

7.4 本章小节

第八章 总结和展望

8.1 工作总结

8.2 展望

参考文献

附录1 FAP参数详细列表

作者在攻读博士期间发表(录用)的论文

致谢

发布时间: 2006-03-23

参考文献

• [1].人脸表情自动分析与识别系统的研究[D]. 左坤隆.天津大学2004
• [2].二维图像特征研究[D]. 金城.浙江大学2006
• [3].人脸表情自动提取与跟踪技术研究[D]. 王磊.湖南大学2007
• [4].鲁棒人脸表情识方法研究[D]. 蒋斌.北京工业大学2014
• [5].真实感人脸表情合成的关键技术研究[D]. 万贤美.浙江大学2012
• [6].三维人脸表情合成研究[D]. 常江龙.中国科学技术大学2009
• [7].真实环境人脸图像分析问题研究[D]. 丁小羽.东南大学2015
• [8].人脸运动捕捉数据处理及表情动画重构研究[D]. 方小勇.大连理工大学2010
• [9].低比特率真实感人脸视频编码研究[D]. 于俊.中国科学技术大学2010
• [10].三维人脸表情识别中特征提取算法研究[D]. 李小利.北京交通大学2016

相关论文

• [1].基于二元模式的人脸识别与表情识别研究[D]. 付晓峰.浙江大学2008
• [2].三维人脸表情合成研究[D]. 常江龙.中国科学技术大学2009

标签：表情识别论文;  基于的主动形状模型论文;  滤波论文;  主动外观模型论文;  二元语音论文;  参数特征论文;  三元论文;  纹理映射论文;  速度场论文;  人脸模型对齐论文;  人脸网格模型对应论文;  基于分解的人脸表情映射论文;  人脸表情合成论文;