自发表情识别中若干关键问题研究

自发表情识别中若干关键问题研究

论文摘要

人脸表情是人类情感信息交流的重要方式之一。表情识别已成为拟人化的新型人际交互模式研究中的关键课题之一。目前,国内外有多所研究机构和高校的研究人员采用不同的方法对人脸表情识别相关技术和算法进行了探索,取得了一定的成果。但总的来说,人脸表情识别还处于实验室阶段,大部分的研究是针对人为表情进行的。人为表情外观表现生硬,变化单一,并且与人自发的表情差距较大,因此,针对自发表情的研究有利于推进表情识别的实用化进程。本文针对自发表情的特点,提出了三种自发表情识别方法,并将自发表情识别应用于视频情感语义隐性标注中。具体工作如下:(1)提出了一种基于头部运动的自发表情识别方法。方法中,我们首先使用人眼定位算法,定位表情起始帧和夸张帧中瞳孔位置,接着根据瞳孔位置和起始帧夸张帧帧差提取五种头部运动特征;其次使用主动外观模型(AAM:Active Appearance Model)算法在夸张帧提取三十种外观特征;最后使用最小序列优化算法(SMO:Sequential Minimal Optimization)进行分类识别。实验结果表明:头部运动特征对于恐惧表情有比较好的区分度;头部运动可以单独应用于自发表情识别,也可以在使用外观特征识别表情时加入头部运动特征提高识别率。(2)提出了基于头部运动的态度识别方法。方法中,首先使用人眼定位算法,在每一帧定位瞳孔位置;然后计算双眼中心坐标;如果连续帧双眼中心在x方向位移大于在y方向位移则判定为点头即肯定态度,否则判定为否定态度;最后,根据所有连续帧结果使用投票算法得到最终识别结果。实验结果表明:该方法可以实时有效的识别用户态度。(3)提出了基于特征点追踪算法的自发表情识别方法。方法中,首先根据人眼定位结果将表情序列进行归一化并在起始帧手工标记23个特征点作为追踪的起始点;其次,使用Kalman滤波器进行特征点追踪;接着,根据特征点的坐标,提取了特征点位移和特征点间距变化两种特征;最后将特征输入隐马尔科夫模型进行分类识别。实验结果表明:基于Kalman滤波器的特征点追踪算法能够取得较好的结果;基于特征点间距变化特征的识别效果明显好于基于特征点位移特征;自发表情识别率低于人为表情。(4)提出了基于自发表情识别的视频情感语义隐性标注方法。方法中采用了第一个工作中的表情识别方法识别用户在观看视频时的表情,并以此推理用户所观看视频的情感语义标签。实验结果表明:基于可靠的表情识别方法,表情可以用于推理情绪,并以此给视频提供情感语义标签。

论文目录

  • 摘要
  • ABSTRACT
  • 插图目录
  • 表格目录
  • 第1章 绪论
  • 1.1 表情识别的研究背景与意义
  • 1.2 表情识别问题的研究现状
  • 1.2.1 表情识别的研究历史
  • 1.2.2 人为表情和自发表情
  • 1.2.3 近年来的自发表情识别研究方法
  • 1.2.4 综合头部运动的自发表情识别
  • 1.2.5 态度识别
  • 1.3 视频情感语义隐性标注
  • 1.4 本论文主要研究内容及组织结构
  • 第2章 基于头部运动的自发表情识别
  • 2.1 表情识别方法
  • 2.2 人眼定位
  • 2.3 特征提取
  • 2.3.1 头部运动特征
  • 2.3.2 外观特征
  • 2.4 分类器
  • 2.5 实验及结果分析
  • 2.5.1 实验条件
  • 2.5.2 人眼定位实验结果和分析
  • 2.6 本章小结
  • 第3章 态度识别
  • 3.1 方法介绍
  • 3.2 实验及分析
  • 3.3 本章小结
  • 第4章 基于特征点追踪的自发表情识别
  • 4.1 方法介绍
  • 4.1.1 表情序列获取
  • 4.1.2 预处理
  • 4.1.3 特征点追踪
  • 4.1.4 特征提取
  • 4.1.5 分类识别
  • 4.2 实验和分析
  • 4.2.1 实验条件
  • 4.2.2 实验结果和分析
  • 4.3 本章小结
  • 第5章 基于面部信号的视频情感语义标注
  • 5.1 视频情感语义隐性标注
  • 5.2 实验设计
  • 5.3 实验分析
  • 5.4 本章小结
  • 第6章 总结与展望
  • 6.1 工作总结
  • 6.2 工作展望
  • 参考文献
  • 致谢
  • 读硕期间发表的学术论文与参加的科研项目
  • 作者简历
  • 相关论文文献

    标签:;  ;  ;  

    自发表情识别中若干关键问题研究
    下载Doc文档

    猜你喜欢