基于改进光流和HMM的人脸表情识别研究

论文摘要

计算机人脸表情识别是利用计算机对人脸的表情信息进行特征提取分析,按照人的认识和思维方式加以归类和理解,结合人脸所具有的感情信息方面的知识使计算机进行联想、思考及推理,进而从人脸信息中去分析理解人的情绪。近年来,随着人们对人机交互兴趣的增加,表情识别逐渐成为研究的热点。本文在分析总结国内外心理学和计算机领域关于人脸表情识别研究工作的基础上,提出一种改进的基于光流和隐马尔可夫模型的人脸表情识别算法,在一定程度上更真实地反映了人脸表情变化的特征和情绪心理。主要成果如下:针对目前广泛使用的光流法计算耗时严重问题,提出了基于差分图像绝对值和（SAD）与光流法相结合的方法,通过计算SAD检测出运动区域,在已确定的运动区域内进行光流场计算,准确地计算出人脸表情运动信息。利用数据挖掘中的属性相关分析对标定人脸特征的多个子区域进行相关性分析,得到了子区域的区分度强弱顺序,便于在表情识别过程中有选择的使用。由于面部表情运动是一个非刚体运动,容易产生形变,因此传统光流法计算不准确。为此,本文通过引入div-curl样条函数作为扩展光流约束方程的附件约束条件,推导了非刚体光流算法,最后将该算法用于人脸表情特征提取。当前多数图像序列的表情识别方法仅提取图像的某一类特征,导致特征参数不能全面地反映脸部情感信息,本文采用基于混合特征的图像序列表情识别方法。分别提取各个子区域的变化特征然后对每种表情的贡献权值进行加权融合。在序列表情图像识别方面,提出了一种基于双层隐马尔可夫模型的人脸表情识别方法。把人脸的表情序列分为3个状态,采用压缩后的光流向量作为观察向量,分别对应着HMM模型状态和观察值。并将最大互信息准则函数引入到表情的动态分析中,并相应地给出了识别算法。

论文目录

• 中文摘要
• Abstract
• 第一章 绪论
• 1.1 课题的背景和意义
• 1.2 表情识别的问题描述
• 1.3 本文的主要工作
• 1.4 论文的组织结构
• 第二章 人脸表情识别综述
• 2.1 表情识别的发展现状
• 2.2 人脸检测与定位方法介绍
• 2.3 脸部特征提取发展现状
• 2.4 表情特征分类发展现状
• 2.5 人脸表情数据库介绍
• 第三章 基于改进光流法的人脸表情特征提取
• 3.1 人脸检测
• 3.2 人脸表情图像序列光流场的计算
• 3.2.1 基于SAD 的运动区域检测
• 3.2.2 表情子区域光流场的计算
• 3.2.3 非刚体光流计算方法的改进
• 3.3 人脸表情运动特征的分析与表示
• 3.3.1 运动子区域相关性分析
• 3.3.2 K-L 变换的数学描述
• 3.3.3 人脸表情特征的降维
• 3.3.4 运动特征序列的构造
• 3.4 本章 小结
• 第四章 基于隐马尔可夫模型的人脸表情识别
• 4.1 隐马尔可夫模型描述
• 4.2 HMM 的三个基本问题
• 4.3 隐马尔可夫模型的构造
• 4.3.1 HMM 模型类型的选择
• 4.3.2 HMM 模型状态数的确定
• 4.3.3 改进的双层HMM 结构
• 4.4 基于HMM 的人脸表情分析
• 4.4.1 基于MMI 的HMM 训练过程
• 4.4.2 概率??（??|??）的计算
• 4.4.3 人脸表情序列的解码
• 4.5 本章 小结
• 第五章 表情识别系统的优化与分析
• 5.1 表情识别系统的实现
• 5.2 表情识别对象的选择
• 5.3 表情识别系统参数的优化与分析
• 5.3.1 状态数和混合项数的优化调整
• 5.3.2 隐马尔可夫层数对识别率的影响
• 5.3.3 光流约束方程对于识别率的影响
• 5.4 识别错误情况分析
• 5.5 算法鲁棒性的检验
• 第六章 总结与展望
• 6.1 研究工作总结
• 6.2 工作展望
• 参考文献
• 致谢