单目摄像机实现的注视方向估计研究

论文摘要

注视方向估计是计算机视觉和模式识别研究的热点问题之一,具有重要的理论意义和应用价值。对注视方向估计技术的系统研究能够推动这些领域的发展,在人机交互、心理学研究等领域具有重要的应用前景。近年来,虽然侵入式的注视方向估计取得了很大进展,但非侵入式的注视方向估计尚不成熟。要实现真正鲁棒、实用的非侵入式的自动视线估计和跟踪系统还需要解决大量的关键问题,尤其需要研究高效的人眼描述特征,以及实现头部自由动作的视线方向估计算法。本文研究了以单摄像机作为信息获取手段的非侵入式注视方向估计的相关问题,包括基于单摄像机的数据获取与基准数据(ground truth)的自动标注、眼部表观特征的表示、头部自由运动的注视方向估计等问题。概括而言,本文的主要研究工作包括:1.设计了一种同步采集注视方向、头部姿态数据和面部图像的方法,并实现了相应的装置。在基于统计学习的算法中,系统的性能依赖于大量标注的训练数据。因此,标注的数据集是注视方向估计研究的基础和前提。本文设计的这种数据采集方法,能够在复杂环境下,同步采集图像、姿态、注视方向以及各个目标间的空间位置关系。其采集的数据为后续实验的训练和测试提供了保障。2.提出一种基于方向二值模式特征的注视方向估计方法。随着注视方向的改变,在眼窝中巩膜和虹膜位置之间的相对位置也随着改变。这些改变可以看作是虹膜横向和纵向运动,这种运动会引起眼部图像纹理的相应变化。针对虹膜纵向和横向的移动变化特点,提出方向二值模式(Directional Binary Pattern, DBP)的表示方法。通过计算四个方向上差分信息,使DBP特征不仅包含局部纹理信息,同时还包含特定方向的二值差分信息。因此,DBP特征适合解析虹膜相对运动而引起眼部图像的纹理变化。同时DBP特征对光照变化具有鲁棒性,能减少因光照影响而引起的计算误差。3.提出了一种基于混合特征的注视方向估计方法。混合特征由模型特征和表观特征组成。模型特征提取特征点间的几何向量;表观特征是从眼睛图像提取基于Gabor特征的方向二值模式(Gabor Directional Binary Pattern, GDBP)。本文将两种特征通过支持向量回归(Support Vector Regression, SVR)算法融合起来,从而获得某一确定的头部姿态下的注视方向。将方向二值模式(DBP)用于编码图像的Gabor幅值特征,从而表示表观特征,并取得了较好的性能。基于混合特征的方法具有如下特点:(1)根据不同的计算方向对眼部图像进行二值化;(2)成功地将DBP算子和Gabor幅值特征进行结合,最后提取空间直方图特征作为判别特征;(3)既利用了表观特征较好的统计特性,也得益于模型特征在对光照变化的鲁棒性。4.提出一种头部自由动作的注视方向估计方法。对基于图像特征的注视方向估计研究而言,包含两个重要的问题:头部姿态和眼睛注视方向。目前,头部自由动作的注视方向估计方法多数通过先确定头部姿态,后估计注视方向的方法实现。本文提出一个分布式算法实现头部可动作的注视方向估计,分别估计头的姿态和眼睛的注视方向。在此基础上,提出了一种基于人脸和眼睛特征层级融合的注视方向估计方法。实验验证了该方法的有效性。通过上述工作,本文对基于单摄像机的注视方向估计涉及的一些相关问题进行了研究。结果表明:眼部图像的模型特征和表观特征从不同角度描述了注视方向的信息,高效地对二者进行融合,可以取得更为稳定的估计结果。另外,本文基于所提出的方法实现了相应的原型系统。实验结果表明,本文提出的方法具有潜在的应用价值。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 注视方向估计的研究背景和意义
• 1.2 注视方向估计问题描述
• 1.2.1 几何模型问题
• 1.2.2 数据库的建立和基准算法的提出
• 1.2.3 特征提取问题
• 1.2.4 头部姿态对视线跟踪的影响
• 1.2.5 对干扰信号的鲁棒性
• 1.2.6 算法问题
• 1.3 注视方向估计研究综述
• 1.3.1 基于模型特征的方法
• 1.3.2 基于表观特征的方法
• 1.4 注视方向估计的国内研究现状
• 1.5 注视方向估计领域的技术发展趋势
• 1.6 本文工作的主要路线
• 1.7 本文的主要贡献
• 1.8 本文的组织结构及各章节间的相互关系
• 第2章 数据采集方法
• 2.1 前人工作简介
• 2.2 数据采集模型
• 2.3 数据采集算法
• 2.4 数据采集误差校准实验
• 2.5 实验结果
• 2.6 本章小结
• 第3章 方向二值模式的特征提取和估计方法
• 3.1 局部二值模式（LBP）
• 3.2 DBP特征提取算法
• 3.3 高阶方向二值模式
• 3.3.1 二阶方向二值模式
• 3.3.2 nth阶方向二值模式
• 3.4 基于Gabor幅值的方向二值模式拓展算子GDBP
• 3.4.1 Gabor算子简述
• 3.4.2 基于Gabor幅值信息的方向二值模式GDBP
• 3.5 GDBP对光照鲁棒性实验验证
• 3.6 基于GDBP的注视方向估计
• 3.7 本章小结
• 第4章 基于混合特征的注视方向估计
• 4.1 模型特征
• 4.1.1 ASM算法
• 4.1.2 EASM算法
• 4.1.3 提取模型特征
• 4.2 表观特征（GDBP）
• 4.3 注视方向估计离线测试结果
• 4.4 对不同光照环境离线测试结果
• 4.5 实时实验测试结果
• 4.6 本章小结
• 第5章 头部自由动作的注视方向估计方法
• 5.1 引言
• 5.1.1 基于强迫式的视线跟踪
• 5.1.2 基于非强迫式的视线跟踪
• 5.2 基于姿态分离的注视方向估计算法
• 5.2.1 基于GaFour特征的姿态估计
• 5.2.2 基于混合特征的注视方向估计
• 5.3 基于SPGE的算法
• 5.3.1 头部姿态建模
• 5.3.2 基于SVR特征融合算法
• 5.3.3 实验结果
• 5.3.4 实验结果分析
• 5.4 本章小结
• 第6章 基于注视方向估计的原型系统
• 6.1 半自动初始标定系统
• 6.2 注视估计系统的组成
• 6.2.1 人脸检测
• 6.2.2 人眼定位
• 6.2.3 图像归一化
• 6.2.4 特征提取
• 6.3 阅读辅助系统
• 6.4 图像注视度测试
• 6.5 本章小结
• 结论
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢
• 个人简历