人脸表情识别及其在视频分类与推荐中的应用

论文摘要

近年来,随着智能接口和人机交互技术的迫切需求和快速发展,以人脸表情识别为主的情感计算成为新的研究热点。人脸表情识别能够增强人机交互的智能性和友好性,具有重要的科研价值和应用价值。另外,随着数码照相机、摄像机的广泛使用和多媒体共享网络（如YouTube）的快速发展,网络视频的数量正呈海量增长,如何从观察者的情感角度高效准确的对这些视频进行分类与推荐对于网站管理和增强用户体验变得至关重要。本文在总结国内外人脸表情识别及视频分类与推荐研究现状的基础上,分析了现有研究存在的问题与缺陷,提出了一种基于空间特征和隐动态条件随机场的表情识别方法,并且以此为基础,从观察者表情识别的情感角度对视频进行分类与推荐,取得了良好的效果。具体的研究工作如下:首先,对表情图像进行预处理,本文提出了一种基于人脸检测的眼睛定位算法,以定理的形式给出了图像旋转前后坐标的对应关系并进行了证明。在检测到人脸之后,采用形态学滤波与求区域中心相结合的方法对眼睛进行精确定位。接着对表情图像进行尺度归一化和灰度归一化操作,为后续操作奠定了基础。其次,本文提出了一种基于空间特征和隐动态条件随机场的表情识别方法。首先把构造组合Haar特征的过程嵌入到改进的AdaBoost算法中,提取出表情的空间特征。然后提出了一种新的图模型—隐动态条件随机场,它结合了隐条件随机场和动态条件随机场的优点。采用最大似然估计的方法对其参数进行估计,并且把它与已有的概率模型进行了比较。接着通过把空间特征嵌入到隐动态条件随机场中,即把时间特征和空间特征结合起来,对人脸表情进行识别,在Cohn-Kanade数据库上的实验证明了算法的有效性和准确性。最后,根据提出的表情识别方法,对观察者观看视频的表情进行识别,构造出他们的情感曲线,根据已有的心理学及电影学研究基础,对视频进行分类与推荐。通过表情的变化次数及规律,给出了视频类别及推荐分数。在我们收集的数据库上进行实验,效果良好,绝大多数观察者对视频类别及推荐分数的结果是满意的。文章最后总结了本文的主要工作和存在的不足,并且对该领域未来的发展趋势进行了展望。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题的研究背景及意义
• 1.2 人脸表情识别研究现状
• 1.2.1 表情图像预处理
• 1.2.2 人脸表情特征的提取
• 1.2.3 表情的分类与识别
• 1.2.4 表情数据库
• 1.3 视频分类与推荐研究现状
• 1.3.1 用于视频分类的特征
• 1.3.2 视频分类方法
• 1.3.3 视频推荐常用方法
• 1.4 技术难点及存在问题
• 1.5 论文的研究内容及组织结构
• 第2章 人脸表情图像预处理
• 2.1 人脸检测
• 2.2 人眼定位
• 2.2.1 定位预处理
• 2.2.2 形态学滤波
• 2.2.3 人眼精确定位
• 2.3 尺度归一化
• 2.3.1 图像旋转前后坐标对应关系的推导及定理证明
• 2.3.2 具体操作
• 2.4 灰度归一化
• 2.5 本章小结
• 第3章 空间特征的情感表达与计算
• 3.1 Haar 特征
• 3.2 积分图像
• 3.3 空间Haar 特征的情感表达与计算
• 3.3.1 局部块
• 3.3.2 构造空间特征算法
• 3.3.3 改进的AdaBoost 学习算法
• 3.4 空间特征实验
• 3.4.1 实验数据
• 3.4.2 实验结果及分析
• 3.5 本章小结
• 第4章 基于隐动态条件随机场的表情序列识别
• 4.1 隐动态条件随机场的定义
• 4.2 参数估计
• 4.3 隐动态条件随机场与以往概率模型的比较
• 4.4 表情序列识别实验
• 4.4.1 实验数据
• 4.4.2 实验结果及分析
• 4.5 本章小结
• 第5章 基于观察者表情识别的视频分类与推荐
• 5.1 观察者表情识别
• 5.2 情感曲线
• 5.3 视频分类与推荐
• 5.4 视频分类与推荐实验
• 5.4.1 实验数据
• 5.4.2 实验结果及分析
• 5.5 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文及其它成果
• 致谢