序列图像中手势跟踪与识别技术的研究

论文摘要

基于动态序列图像的生物特征识别已成为近年来计算机视觉领域中备受关注的研究内容,它主要从图像序列中检测、识别、跟踪人及对其生物特征理解和描述加以研究。人的生物特征识别在虚拟现实、人机交互、视觉监控等领域均有着广阔的应用,基于视觉的手势跟踪与识别研究就是其重要内容。由于手势具有多样性、多义性、手的复杂变形性、视觉本身的不适定性以及手势在时间和空间上的差异性等特点,因此基于视觉的的手势跟踪与识别是一个多学科交叉的富有挑战性的研究课题。一个完整的基于视觉的图像序列中手势跟踪与识别系统,通常包含下面三个部分:手的检测、分割,手势跟踪与手势识别。手势分割就是将有意义的区域(手)从手势图像中划分出来,是基于视觉的手势识别过程中的最为关键的一步,手势分割的好坏直接影响后续的手势跟踪、手势特征提取及手势识别结果。对图像序列中包含的手势进行跟踪(二维跟踪),即对投影到图像平面的手进行定位和跟踪,是手势识别的关键。手势识别则是把模型参数空间中的轨迹(或点)分类到该空间中某个子集的过程。本文主要研究了用于人机交互的手势跟踪与识别,分别对目标分割算法,手势跟踪算法与识别算法进行深入研究。主要工作总结如下:1.首先提出了一种基于肤色信息的自适应轮廓模型和一种自适应形状模型,实现了具有凸形与凹形两种边界轮廓的准确提取。这种自适应活动轮廓模型是一种改进的Snake模型,它使轮廓线能够自适应地收缩或膨胀,降低了对初始轮廓的敏感性,在视觉跟踪中不需在当前帧中重新初始化,只需进行目标定位,较好地解决了Snake模型及Snake跳跃模型的不足,保证了对目标轮廓的准确提取。鉴于这种自适应轮廓模型对于具有凹形边界的轮廓不能实现准确提取,本文又提出一种自适应形状模型,并运用拆分和聚合技术对该形状模型表示的‘中间轮廓’进行修正,实现具有凸形与凹形两类边界轮廓的准确提取。2.提出了一种基于各向异性核函数的均值漂移跟踪算法,实现图像序列中区域跟踪的稳健性、有效性和实时性。并且,融合均值漂移算法与自适应轮廓模型实现了图像序列中的手部轮廓跟踪。该算法提出了一种形状、大小、方向能自适应于目标局部结构的变化的各向异性核函数,将其应用于均值漂移算法实现目标跟踪,保证了跟踪效果的稳定性和鲁棒性。而均值漂移与自适应轮廓模型的融合算法,能够根据跟踪区域模板与目标模板的相似性度量Bhattacaryya系数给出在跟踪目标被遮挡时的处理方法,有效地解决了目标跟踪的这一难题。3.基于上述区域跟踪结果,利用手轮廓的方向直方图实现用于人机交互的静态手势识别;基于上述轮廓跟踪结果,利用隐马尔可夫模型实现用于人机交互的动态手势识别。方向直方图满足手势识别中对光照变化的不敏感性和手势平移、旋转不变性等要求,并且可有效的表示手势特征。基于区域跟踪结果,利用手轮廓的方向直方图本文实现了用于人机交互的静态手势识别;基于轮廓跟踪结果,同时应用手形及手部运动两大特征作为隐马尔可夫模型的输入实现了动态手势识别,提高了手势识别率,也达到了实时性的效果,且不必依赖数据手套等设备。4.提出一种新的基于范例集的跟踪器(CEE(CAMSHIFT Embedded Exemplar))跟踪器,在图像序列中同时实现手势跟踪与识别。为克服基于范例集的手势跟踪不能实现复杂场景下手部轮廓特征的精确提取及手部动作的不准确预测,本文提出一种新的基于范例集的跟踪器(CEE跟踪器),充分利用跟踪目标的运动信息与颜色信息实现复杂场景下手势的准确跟踪,而且能够同时实现手势识别。

论文目录

• 中文摘要
• Abstract
• 第一章 绪论
• 1.1 序列图像中手势跟踪与手势识别简介
• 1.1.1 手的检测与分割
• 1.1.2 手势跟踪
• 1.1.3 手势识别
• 1.2 研究历史及现状
• 1.3 本文主要工作和贡献
• 1.4 内容安排
• 第二章 复杂背景下的目标分割
• 2.1 引言
• 2.2 基于肤色特征实现静态手势分割
• 2.2.1 肤色信息的获取
• 2.2.2 基于肤色信息的自适应轮廓模型
• 2.2.3 利用自适应轮廓模型提取手部轮廓及实验结果
• 2.2.4 基于肤色信息的自适应形状模型
• 2.2.5 利用自适应形状模型实现轮廓提取及实验结果
• 2.3 基于差分法实现动态手势分割
• 2.3.1 重建背景
• 2.3.2 基于肤色信息实现动态手势分割
• 2.3.3 算法实验
• 2.4 本章小结
• 第三章 基于各向异性核函数的均值漂移跟踪算法
• 3.1 基于各向同性核函数的均值漂移跟踪算法及其局限性
• 3.1.1 均值漂移算法
• 3.1.2 基于各向同性核函数的均值漂移跟踪算法的局限性
• 3.2 基于各向异性核函数的均值漂移算法
• 3.2.1 各向异性核函数密度估计器
• 3.2.2 均值漂移
• 3.2.3 窗宽选择
• 3.3 基于各向异性核函数的均值漂移跟踪算法
• 3.3.1 目标模板与侯选目标模板
• 3.3.2 相似性测度与目标定位和窗宽选择
• 3.3.3 利用窗宽矩阵估算目标团块的形状
• 3.4 基于各向异性核函数的均值漂移算法实现区域跟踪
• 3.5 基于均值漂移算法与自适应活动轮廓模型实现手部轮廓跟踪
• 3.5.1 基于均值漂移算法实现手部区域的定位
• 3.5.2 实时手势跟踪算法
• 3.5.3 跟踪算法对遮挡的处理
• 3.6 实验结果及讨论
• 3.6.1 基于各向异性核函数的均值漂移算法实现区域跟踪实验结果
• 3.6.2 基于肤色的活动轮廓模型实现手部轮廓跟踪实验结果
• 3.7 本章小结
• 第四章 应用滤波器的跟踪算法
• 4.1 应用卡尔曼滤波器实现手势跟踪
• 4.1.1 卡尔曼滤波器
• 4.1.2 利用卡尔曼滤波器与自适应形状模型实现手势跟踪算法
• 4.2 应用粒子滤波器实现手势跟踪
• 4.2.1 基于肤色的粒子滤波器
• 4.2.2 基于粒子滤波器与自适应形状模实现手势跟踪算法
• 4.3 实验结果及讨论
• 4.3.1 应用卡尔曼滤波器实验结果
• 4.3.2 应用粒子滤波器实验结果
• 4.3.3 应用卡尔曼滤波器与粒子滤波器跟踪实验结果比较
• 4.4 本章小结
• 第五章 序列图像中手势识别技术研究
• 5.1 概述
• 5.2 基于方向直方图的静态手势识别
• 5.2.1 方向直方图
• 5.2.2 基于手轮廓直方图的手势识别算法
• 5.2.3 实验结果及讨论
• 5.3 基于隐马尔可夫模型的动态手势识别
• 5.3.1 隐马尔可夫模型的概念及三类基本问题
• 5.3.2 基于马尔可夫模型的手势识别算法
• 5.3.3 实验结果及讨论
• 5.4 本章小结
• 第六章 基于范例集实现手势跟踪与识别
• 6.1 基于CEE 跟踪器实现复杂场景下的手势跟踪与识别
• 6.1.1 ICAMSHIFT 算法
• 6.1.2 学习过程
• 6.1.3 跟踪与识别过程
• 6.1.4 实验结果及讨论
• 6.2 基于范例集（人体姿势）与HMM 模型实现手势识别
• 6.2.1 人体姿势的提取
• 6.2.2 HMM 参数的设定及手势识别方法
• 6.2.3 实验结果与讨论
• 6.3 本章小结
• 第七章 总结与展望
• 7.1 本文工作总结
• 7.2 本文的主要贡献和创新
• 7.3 论文存在的不足
• 7.4 进一步的工作
• 参考文献
• 攻读学位期间公开发表的论文
• 参加科研项目情况
• 致谢
• 详细摘要