人工心理相关技术研究—面部表情识别与情感建模

论文摘要

面部表情识别和情感建模在和谐人机交互及情感机器人方面有着广泛应用,情感信息处理是人工智能和认知科学一直关注的难题。要实现和谐人机交互关键在于如何使机器具有人类的情感信息获取、情感响应和情感表达功能。本文以人工心理和情感计算理论为导向,进一步探讨它们的相关技术如表情识别和情感建模问题,为和谐人机交互提供相关技术支持。具体研究内容如下:（1）提出了基于图像代数特征的面部表情识别方法。先对面部表情图像进行了分割,得到眼睛和嘴巴区域,然后分别对眼睛和嘴巴区域提取不变矩和奇异值特征向量,并进行Fisher线性判别分析,最后训练了支持向量机分类器。实验结果表明该方法取得了比较好的识别效果。（2）提出了一种基于Gabor变换和ADABOOST算法的面部表情识别方法。探讨了面部表情图像的Gabor表示方法,对Gabor小波系数进行了下采样处理和并采用PCA二次降维。最后利用Adaboost方法对面部表情进行识别,通过实验表明该方法对已知人脸的表情识别率达到95%以上,对未知人脸的表情识别率达72%左右。（3）针对传统光流法的缺点,分别提出了两种不同的改进方法:其一为引入前向-后向光流方程,计算其Hessian矩阵,把Hessian矩阵条件数的倒数作为Lucas-Kanade光流法的加权阵,可有效消除局部邻域中不可靠约束点,同时提高基本约束方程解的稳定性;其二为针对传统光流法只适用于刚体运动的特点,在扩展约束光流方程的基础上引入了div-curl样条函数作为扩展光流约束方程的附加约束条件,给出了一阶和二阶div-curl样条约束下光流的数值解。把这两种改进方法计算面部表情图像序列光流场,得到表征面部表情运动信息的特征流。（4）提出了一种改进的最大互信息准则函数并把它应用于隐马尔可夫模型的训练,重新推导了HMM的迭代公式。该准则函数相对于原来准则函数定义更为合理,能有效利用训练样本集中的鉴别信息,提高了HMM的性能。把这种改进的HMM算法应用于面部表情识别,利用改进的光流算法提取面部表情特征向量序列,并利用改进HMM算法和BP神经网络构建了面部表情混合分类器,实验结果表明了该方法的有效性。（5）讨论了最大模型距离准则,对原有最大模型距离准则函数做了合理的修正,并把它应用于隐马尔可夫模型的训练,重新推导了HMM的迭代公式,使得训练后的HMM具有更好的鉴别能力。把这种改进的HMM训练算法应用于面部表情识别,利用本文给出的改进光流算法提取面部表情特征向量序列,构建了基于改进HMM算法和BP神经网络的面部表情混合分类器,通过实验表明识别率得到有效提高。（6）在情绪心理学基本理论基础上,定义了个性空间、情感空间和心情空间,建立了个性与心情、心情与情感的映射关系,给出了心情、情感状态更新方程,提出了一种能够合理反映人类情感变化规律的情感计算模型,该模型能反映不同个性人类在外界刺激作用下,心情状态和情感状态的波动过程。实验表明,本文提出的情感计算模型所模拟人类情感变化过程符合人类情感变化规律,为人机情感交互系统的情感决策提供了一种新的机制。

论文目录

• 摘要
• Abstract
• 插图或附表清单
• 引言
• 1 文献综述
• 1.1 情绪心理学基本理论
• 1.1.1 情绪的典型理论
• 1.1.2 情绪的分类及维度表示
• 1.1.3 情绪表现及表现度
• 1.1.4 情绪识别
• 1.2 情感计算
• 1.2.1 面部表情识别
• 1.2.2 情感建模与情感识别
• 1.3 人工心理理论
• 1.4 小结
• 2 基于图像代数特征的面部表情识别
• 2.1 概述
• 2.2 不变矩和奇异值分解的基本理论
• 2.2.1 不变矩基本理论
• 2.2.2 奇异值分解
• 2.3 基于不变矩和奇异值分解的面部表情识别算法
• 2.3.1 预处理
• 2.3.2 特征提取
• 2.3.3 Fisher变换
• 2.3.4 SVM分类器设计
• 2.4 实验结果及分析
• 2.5 小结
• 3 基于Gabor变换和ADABOOST算法的面部表情识别
• 3.1 概述
• 3.2 Adaboost算法
• 3.3 面部表情图像的Gabor表示
• 3.3.1 Gabor变换
• 3.3.2 面部表情图像的Gabor表示
• 3.4 Adaboost面部表情识别算法
• 3.5 实验结果及分析
• 3.5.1 图像预处理
• 3.5.2 实验结果及分析
• 3.6 小结
• 4 动态图像序列的面部表情分析
• 4.1 引言
• 4.2 光流的基本计算方法
• 4.2.1 时空梯度法
• 4.2.2 匹配法
• 4.2.3 基于能量的方法
• 4.2.4 基于相位的方法
• 4.3 基于Hessian矩阵的改进光流算法
• 4.3.1 前向－后向光流方程
• 4.3.2 Hessian矩阵
• 4.3.3 梯度阈值处理
• 4.3.4 基于Hessian矩阵的光流算法
• 4.3.5 实验结果及分析
• 4.4 散度－旋度样条约束下的非刚体光流算法
• 4.4.1 扩展光流约束方程
• 4.4.2 div-curl样条约束
• 4.4.3 div-curl样条约束下的光流数值解
• 4.4.4 div-curl样条约束下非刚体光流法的进一步考虑
• 4.4.5 实验结果及分析
• 4.5 小结
• 5 基于改进MMI的HMM算法的面部表情识别
• 5.1 引言
• 5.2 IMMI准则函数
• 5.3 基于IMMI的HMM参数估计算法
• 5.4 IMMI参数估计算法在面部表情识别中的应用
• 5.4.1 面部表情特征流计算
• 5.4.2 IMMIE－HMM∕BP混合分类器设计
• 5.5 实验结果及分析
• 5.6 小结
• 6 基于改进MMD的HMM算法的面部表情识别
• 6.1 引言
• 6.2 IMMD准则函数
• 6.3 基于IMMD的HMM参数估计算法
• 6.4 IMMD参数估计算法在面部表情识别中的应用
• 6.4.1 面部表情特征流计算
• 6.4.2 IMMDE－HMM∕BP混合分类器设计
• 6.5 实验结果及分析
• 6.6 小结
• 7 基于情绪心理学的情感计算模型
• 7.1 引言
• 7.2 基本定义
• 7.2.1 情感诱发变量
• 7.2.2 个性空间
• 7.2.3 心情空间
• 7.2.4 情感空间
• 7.2.5 心情淡化
• 7.2.6 情感淡化
• 7.3 个性、心情及情感相互关系
• 7.3.1 个性空间与心情空间之间的转换
• 7.3.2 心情空间与情感空间之间的映射
• 7.4 情感决策模型
• 7.4.1 心情更新方程
• 7.4.2 情感更新方程
• 7.4.3 面部表情合成
• 7.5 实验结果及分析
• 7.6 小结
• 结论
• 参考文献
• 在学研究成果
• 致谢