笑脸表情分类识别的研究

论文摘要

在人脸识别（Face Recognition,FR）研究领域,人脸特征提取作为一种重要的生物技术,成为实现智能人机交互的前提和关键技术之一。人脸表情特征提取和分类作为一个十分活跃的研究方向,具有很好的应用前景。随着人脸识别技术的进步,人脸表情识别技术取得了进步,但仍有很多关键性的问题需要进一步研究,比如光照、姿态、表情变化等。因此,从构建应用系统的角度看来,对人脸表情分类的研究仍处于起步阶段,相应的理论和方法仍有待完善。从情感理解的角度来看,笑脸表情有着明显的特殊性,比较直接地反映了对象的心理状态,同时笑脸表情分类在电子类消费品当中目前已经成为了独立的一个应用领域。本文以笑脸表情分类方法为主题,研究了用于笑脸表情分类和识别的关键算法。典型的表情系统应该包括人脸检测、人脸特征提取、特征选择以及表情分类。由于特征提取对识别结果起着关键作用,本文将重点放在特征提取关键算法的研究上。作为一种小波变换方法,Gabor特征提取方法在人脸表情识别中得到成功应用。但Gabor特征的缺点是计算复杂度较高,同时Gabor特征用于分类识别的性能仍有提升的空间。我们将近年来在图像分类中应用广泛的PHOG（Pyramid Histogram of Oriented Gradients,PHOG）特征、生物启发特征（Biologically Inspired Model,BIM）特征以及局部二值模式（Locally Binary Patterns,LBP）特征引入笑脸表情识别中。本文还针对笑脸表情分类,融合、降维等问题进行了深入研究,研究内容与主要贡献如下:1、本文对比了AdaBoost和支持向量机（Support Vector Machine,SVM）分类器进行人脸表情识别的性能,研究表明,AdaBoost的识别速度比SVM快,而准确度略低;SVM光照鲁棒性则比AdaBoost强,在光照变化较大的环境下,宜采用SVM;对于同时需要兼顾准确度和速度的场合,宜采用AdaBoost进行特征选择,再用SVM进行分类识别。实验结果表明,上述办法是有效的。2、本文分析了基于Gabor小波变换的笑脸表情特征提取方法。对于传统降维方法而言,Gabor特征维数过高。本文提出了对嘴部表情区域进行金字塔分割,在此基础上进行金字塔梯度方向直方图（Pyramid Histogram of Oriented Gradients,PHOG）特征提取。我们假设HOG频谱分布与表情变化剧烈程度呈现正相关,峰值附近像素渲染较大的表情变化,因而对表情分类识别的贡献也较大。根据金字塔分割各区域所提取的梯度方向直方图（Histograms of Oriented Gradients,HOG）,在提取Gabor特征的时候,相应地采用间隔采样技术。最终提取到更加有利于笑脸分类的Gabor特征。3、本文分析了基于生物启发模型（Biologically Inspired Model,BIM）的表情特征提取方法,同时将PHOG特征与BIM特征进行了对比研究。对这两种特征融合后在GENKI数据库上进行笑脸分类的测试和评价,结果表明特征融合能显著提高笑脸分类识别性能。本文研究了BIM特征应用于笑脸分类的实施步骤,结果显示与应用在人脸识别上的已有成果相比具有类似的性能。结合对流形学习理论的研究,本文运用了一种线性流形学习方法,即局部保持投影（Local Preserving Projection,LPP）对BIM特征进行降维,保持了该特征的分类能力,同时提高了识别效率。较好地解决了表情特征提取与降维的问题。4、提出了一个现实世界环境中的笑脸分类系统。三种类型的基本特征（即Gabor,PLBP和PHOG）分别提取出来并融合以后,馈入组合分类器（即AdaBoost+SVM）进一步分类识别。这种方法是在GENKI数据库上进行测试的,取得了高达86.197%的识别率。然而,以往文献研究显示基本特征加单一分类器的方法并没有取得十分理想的分类结果,部分原因在于这三种特征面临着维数过高的问题。与基本特征加上组合分类器方法的比较研究表明特征融合对性能的改进是显著的。通过对分类器识别性能的对比研究,尤其是针对以上两种主要表情特征的对比研究,我们获得了笑脸表情图像分类识别的有效的技术路线和实验方法,在包括GENKI数据的在内的典型表情数据库中的实验结果表明,本文两种基本特征提取方法（即PHOG和BIM）在笑脸表情分类中具有良好的性能。得出的结论是:笑脸表情特征提取的性能主要受到数据采集的光照条件、人脸姿态等各种因素的影响,而为了获得较为鲁棒的系统,有必要将第三种类型的基本特征（即PLBP）提取出来并与上述两种基本方法进行特征级别融合,用于分类识别,才能获得较好的分类识别结果。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景和意义
• 1.1.1 研究背景
• 1.1.3 研究意义与应用领域
• 1.2 本文研究内容及组织结构
• 1.2.1 本文研究内容
• 1.2.2 本文的组织结构
• 1.3 本章小结
• 第二章 笑脸表情分类识别的研究现状
• 2.1 引言
• 2.2 常用人脸表情数据库
• 2.3 国内外研究的现状
• 2.3.1 笑脸图像
• 2.3.2 预处理
• 2.3.3 图像的描述
• 2.3.4 特征提取
• 2.3.5 特征融合与分类识别
• 2.4 笑脸表情分类的主要理论
• 2.4.1 统计学习理论
• 2.4.2 Haar-Like 特征
• 2.4.3 AdaBoost 算法
• 2.4.4 支持向量机
• 2.4.5 流形学习理论简介
• 2.5 笑脸表情分类的难点
• 2.6 笑脸表情分类的发展方向
• 2.7 本章小结
• 第三章 基于 GABOR 小波变换和 PHOG 的笑脸表情特征提取
• 3.1 引言
• 3.2 二维GABOR 小波变换
• 3.2.1 二维Gabor 小波函数
• 3.2.2 二维Gabor 小波变换
• 3.3 GABOR 笑脸表情特征提取
• 3.3.1 Gabor 笑脸表情特征提取
• 3.3.2 Gabor 滤波器组的设计
• 3.3.3 Gabor 滤波器组计算复杂度分析
• 3.4 金字塔梯度方向直方图
• 3.4.1 图像金字塔技术简介
• 3.4.2 梯度方向直方图
• 3.4.3 金字塔梯度方向直方图
• 3.5 实验
• 3.5.1 实验数据
• 3.5.2 特征提取
• 3.5.3 特征选择及分类器设计
• 3.5.4 实验结果
• 3.6 本章小结
• 第四章 基于生物启发模型的笑脸表情特征提取
• 4.1 引言
• 4.2 生物启发模型
• 4.2.1 BIM 模型各层之间的关联
• 4.2.2 BIM 特征提取过程
• 4.2.3 BIM 模型复杂度分析
• 4.2.4 改进C1 单元的BIM 模型
• 4.3 局部保持投影
• 4.3.1 PCA
• 4.3.2 LDA
• 4.3.3 PCA+LDA
• 4.3.4 有监督局部保持投影
• 4.4 实验
• 4.4.1 实验数据
• 4.4.2 特征提取
• 4.4.3 特征选择及分类器设计
• 4.4.4 实验结果
• 4.5 本章小结
• 第五章 利用融合特征提高真实环境中笑脸分类的有效性
• 5.1 引言
• 5.2 局部二值模式
• 5.2.1 基本LBP 特征
• 5.2.2 扩展LBP 特征
• 5.2.3 旋转无关LBP 特征
• 5.2.4 表情检测与分类实验
• 5.3 实验
• 5.3.1 实验数据
• 5.3.2 特征提取
• 5.3.3 特征选择与分类器设计
• 5.3.4 实验结果
• 5.3.5 融合特征与State-of-the-art 方法的比较实验
• 5.4 本章小结
• 总结与展望
• 1. 本文工作总结
• 2. 后续研究展望
• 参考文献
• 攻读博士学位期间取得的研究成果
• 致谢
• 附件