基于流形学习的人脸表情识别研究

论文摘要

表情是人类用来表达情绪的一种基本方式,是非语言交流中的一种有效手段。人们可以通过表情准确而微妙地表达自己的思想感情,也可以根据表情来辨认对方的态度和内心世界。随着人脸检测、人脸跟踪和人脸识别技术的不断完善,针对人脸表情识别技术的研究,已成了模式识别与人工智能领域的研究热点。目前,这项技术仍处在研究阶段,许多问题还需要进一步的研究才能解决。例如：如何准确地提取面部的表情特征,如何降低身份特征对表情特征的干扰,如何较好地实现表情特征的分类,如何估计表情强度,以及如何对混合表情进行分析等等。由于表情变化具有非线性和连续性的特点,本文采用了流形学习算法来对人脸表情的变化特征进行提取。主要工作集中在两个方面：一是人脸表情类别识别的研究,主要是通过表情的特征提取和对提取特征的分类,来实现表情图像的类别判断。根据样本标注信息的不同,本文分别研究了无身份标注和有身份标注下的表情类别识别。二是人脸表情成分分析的研究,主要是分析表情图像中,包含的各种基本表情成分的强度。本文的创新点和主要贡献如下：1)在无身份标注的表情识别中,提出了一种新的监督式等距映射算法。该算法在实现表情原始特征降维的同时,较好地实现了相同对象的表情图像和相同类别表情图像的双重聚类。减少了表情分类时,身份特征对表情特征的干扰,以及不同表情图像间的干扰。2)在无身份标注的表情识别中,针对表情流形特征的分类,提出了一种序列加权k近邻分类方法。该方法在对某待测样本进行分类时,有效地利用了表情流形结构的特点,避免了用加权k近邻分类器时出现的许多错分现象,提高了分类的正确率。3)在有身份标注的表情识别中,提出了先识别身份再在同身份图像内部进行表情识别的处理方法。针对表情图像的身份识别,提出了一种广义的主成分分析算法,它是二维主成分分析和模块二维主成分分析人脸识别算法的进一步推广,它的特征提取过程不再受到图像矩阵维数的任何制约。4)针对局部线性嵌入的批处理问题,提出了一种正交迭代局部线性嵌入算法。该算法能够不断地利用前面的流形学习结果,得到新样本的流形嵌入向量,实现了局部线性嵌入的增量处理。在有身份标注的表情识别中,该算法的应用为待测图像的流形嵌入提供了极大的方便。5)在有身份标注的表情识别中,针对同身份图像内部的表情识别,提出了一种通过表情图像的重建来实现表情识别的算法。该算法通过比较待测图像和它重建图像的相似程度来实现表情分类,由于重建图像的表情强度会跟随待测图像的表情强度而自动变化,该表情算法对表情强度的变化表现出了较好的鲁棒性。6)实际生活中的表情大多是一种混合表情,因此仅将这种表情归为几种基本表情类别中的某一类,往往难以满足情感分析的客观要求。针对表情的情感分析,提出了一种基于流形空间模型的表情成分分析方法。该方法可以将任意的表情分解为一些基本表情的矢量和,这为表情的混合成分的分析提供了一种新的处理思路。

论文目录

• 摘要
• ABSTRACT
• 主要缩略词
• 第一章 绪论
• 1.1 研究背景和意义
• 1.2 表情识别系统框架
• 1.3 研究现状
• 1.3.1 表情特征提取
• 1.3.2 表情分类
• 1.3.3 表情分析
• 1.3.4 表情识别技术的难点
• 1.4 本文的主要工作
• 1.4.1 表情类别识别研究
• 1.4.2 表情成分分析研究
• 1.5 本文的结构安排
• 第二章 流形学习及其在表情识别中的应用
• 2.1 引言
• 2.2 流形的基本理论
• 2.2.1 流形实例
• 2.2.2 拓扑流形的定义
• 2.2.3 基本的流形种类
• 2.3 流形学习算法
• 2.3.1 Isomap算法
• 2.3.2 LLE算法
• 2.3.3 LE算法
• 2.3.4 HE算法
• 2.3.5 LTSA算法
• 2.4 流形学习在表情识别各环节中的应用
• 2.4.1 人脸检测中的应用
• 2.4.2 特征提取中的应用
• 2.4.3 表情识别中的应用
• 2.5 本章小结
• 第三章 基于SISOMAP与SWKNN的表情识别
• 3.1 引言
• 3.2 基于SISOMAP的表情特征提取
• 3.2.1 SIsomap的研究现状
• 3.2.2 新的SIsomap算法
• 3.2.3 表情流形特征提取
• 3.3 基于SWKNN的表情特征分类
• 3.3.1 KNN的研究现状
• 3.3.2 SWKNN方法
• 3.3.3 表情流形特征分类
• 3.4 实验与结果分析
• 3.4.1 实验1
• 3.4.2 实验2
• 3.5 本章小结
• 第四章 基于身份识别与图像重建的表情识别
• 4.1 引言
• 4.2 基于GPCA的身份识别
• 4.2.1 PCA人脸识别的研究现状
• 4.2.2 GPCA算法
• 4.2.3 身份识别
• 4.3 基于OILLE的表情图像嵌入
• 4.3.1 增量LLE算法研究现状
• 4.3.2 OILLE算法
• 4.3.3 表情图像嵌入
• 4.4 表情图像的重建与识别
• 4.4.1 表情图像重建
• 4.4.2 表情图像识别
• 4.5 实验与结果分析
• 4.5.1 实验1
• 4.5.2 实验2
• 4.5.3 实验3
• 4.6 本章小结
• 第五章 基于流形空间模型的表情成分分析
• 5.1 引言
• 5.2 情感的分类
• 5.2.1 基本情感论
• 5.2.2 维度空间论
• 5.2.3 基本情感维度空间论
• 5.3 表情流形空间模型
• 5.3.1 斜角直线坐标系理论
• 5.3.2 流形空间模型的建立
• 5.4 表情成分分析
• 5.5 实验与结果分析
• 5.6 本章小结
• 第六章 总结与展望
• 6.1 论文总结
• 6.2 工作展望
• 参考文献
• 致谢
• 攻读博士学位期间完成的学术论文