双模态情绪强度估计方法研究

论文摘要

情绪是指人对认知内容的特殊态度,是以个体的愿望和需要为中介的一种心理活动。生活中人们有着各种各样的情绪,每一种情绪同时对人们的生活有反作用。因此对情绪进行识别,并相应地对情绪强度进行估计,用以指导人们的生活有着重要的现实意义。本文作者利用计算机技术,针对急躁这一负面情绪进行研究,并且将其扩展到其他情绪,具体工作如下:由于心理学家认为人的情绪通过面部表情和动作表情体现,其中的动作表情是指与情绪相关的除去面部表情以外的动作,它包括头部和身体其他部分的运动。因此本文作者将面部表情与动作表情(头部运动)二者结合来估计情绪强度。首先,对急躁情绪进行数学建模,构建了双模态特征模型,分别采用两种模态信息——人脸表情和头部运动信息来表征急躁情绪。其原因是根据实验观察,人在急躁时往往处于厌恶表情且伴有头部频繁地摆动。根据这一特点,设计用表情强度和头部摆动强度来度量情绪。表情强度采用局部特征方法计算;头部摆动强度采用头部摆动的幅度和频率进行估计,其中幅度采用情绪特征数据的方差进行计算,而频率采用情绪特征数据经DCT变换的期望值来计算。该方法能够扩展到其他情绪,为情绪强度估计提供了一种通用的特征提取方法。实验结果表明该方法能较准确的提取情绪特征。其次,针对急躁情绪强度估计这一问题,为了更好地结合面部表情与头部运动信息,本文作者采用双层隐马尔科夫模型(DMHMM)对情绪强度进行估计。第一层MHMM对面部表情进行识别,进而得到面部表情强度信息;第二层结合面部表情特征与头部运动特征进行情绪强度的估计,得到情绪强度的三个等级。实验结果表明:该算法实现简单,并且能快速的对情绪强度进行估计,识别的正确率超过了只采用面部表情信息的方法。

论文目录

• 摘要
• ABSTRACT
• 目录
• 第一章 绪论
• 1.1 课题来源
• 1.2 研究意义
• 1.2.1 虚拟人领域的应用
• 1.2.2 远程教学领域的应用
• 1.2.3 医学领域的应用
• 1.2.4 安全检测领域的应用
• 1.3 研究范围及其难点
• 1.3.1 面部表情识别
• 1.3.2 面部表情强度估计
• 1.3.3 情绪分析
• 1.4 本文研究内容及解决方法
• 1.4.1 本文研究内容
• 1.4.2 问题的解决方法
• 1.5 本文组织结构
• 第二章 国内外相关研究工作以及理论基础
• 2.1 引言
• 2.2 面部表情识别的研究现状
• 2.3 面部表情强度研究现状
• 2.4 情绪分析研究现状
• 2.4.1 情绪识别研究现状
• 2.4.2 情绪强度估计现状
• 2.5 MHMM理论知识介绍
• 2.5.1 HMM模型的参数
• 2.5.2 HMM模型的三个基本问题
• 2.5.3 HMM模型类型的选择
• 2.5.4 GMM模型
• 2.5.5 MHMM模型
• 第三章 基于双模态信息提取的情绪强度估计方法
• 3.1 引言
• 3.2 情绪强度估计方法的总体思路
• 3.3 双模态情绪信息提取方法
• 3.3.1 表情强度估计中主FAU的选取
• 3.3.2 动作表情的建模
• 3.3.3 观测值的构成
• 3.3.4 本文采用的跟踪算法简介
• 3.4 基于DMHMM模型的情绪强度估计方法
• 3.4.1 DMHMM模型
• 3.4.2 DMHMM参数训练
• 3.4.3 MHMM测试方法
• 3.5 本章小结
• 第四章 实验结果及分析
• 4.1 实验数据的采集
• 4.2 双模态情绪信息提取结果
• 4.3 基于DMHMM模型的情绪强度估计方法的实验结果
• 4.3.1 数据的标记
• 4.3.2 实验结果
• 4.4 本章小结
• 第五章 总结与展望
• 5.1 本文工作总结
• 5.2 工作展望
• 参考文献
• 致谢
• 攻读硕士学位期间主要的研究成果