基于双目视觉的实时手势人机交互的研究

论文摘要

基于计算机视觉的手势人机交互是非接触式的人机交互,使得用户可以摆脱特定的物理设备,从而让人机信息交互显得更加直接与自然。基于视觉的手势识别与跟踪是使用单个或多个摄像头结合计算机视觉技术来解释手势并且从采集到的视频流中计算手势的运动轨迹,因而分为基于单目视觉的手势识别和基于多目视觉的手势交互两类。本文主要研究内容是在双目同步采集的图像序列中自适应检测出目标手势区域后用于跟踪与指尖定位,并将手势跟踪用于预测下一帧手势的大致区域,从而获取ROI区域以减少计算量,指尖定位的目的是为了用指尖个数与位置描述手势类别,实现基本手势的识别以及重构指尖的三维空间。本文的主要工作内容以及创新点如下：(1)针对在双目图像序列采集与传输过程中遇到的同步问题,提出了一种左右图像帧严格同步的双目采集硬件装置的设计方案及其实现,可以将同步控制在像素级别,为后续的手势图像处理与指尖三维重建等做好了基础。(2)本文分析比较了多种手势检测与跟踪的经典算法,提出了一种自适应的检测跟踪方法,该方法融合了肤色检测器和混合高斯模型检测器来定位手势的区域并计算其当前速率,然后利用速率值改进混合高斯背景模型的权值更新方法,使之能够自适应得重构真实背景,而不会将静止的目标手势融入为背景,且同时克服了静止手势前景突然运动时传统混合高斯建模法会产生伪前景的缺陷。最后对手势的类别进行识别。为了减少系统运算量,本文中采用基于滤波理论的跟踪方法对手势进行跟踪预测,获取下一帧的ROI手势区域,从而避免了整幅图像内搜索检测手势区域。本文还提出了一种融合多几何特征的指尖检测方法,并应用于手势识别。(3)本文利用所提出的手势的自适应检测以及指尖定位方法来计算指尖在左右图像中的相应位置,然后通过外极限矫正的方法使得其在左右图像中的指尖点匹配点对的y轴坐标相同,实现指尖点的左右图像的立体匹配,最后根据视差以及标定所获得的摄像机参数来快速重构指尖的三维坐标。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题研究背景及意义
• 1.2 手势人机交互系统国内外研究现状
• 1.3 本文主要工作及内容组织
• 1.4 本章小结
• 第二章 双目图像序列同步采集传输装置
• 2.1 引言
• 2.2 双目同步采集与传输问题描述
• 2.3 双目同步采集传输装置硬件设计
• 2.3.1 器件的选型
• 2.3.2 板级电路设计实现同步采集
• 2.3.3 FPGA逻辑设计实现同步传输
• 2.4 实验结果与分析
• 2.5 本章小结
• 第三章 手势的自适应检测、跟踪与识别
• 3.1 引言
• 3.2 手势的自适应检测
• 3.2.1 基于肤色特征的手势检测法
• 3.2.2 基于混合高斯背景建模法的手势检测
• 3.2.3 用双检测器结合速率值改进的自适应手势检测方法
• 3.3 基于粒子滤波的手势跟踪预测
• 3.3.1 动态空间模型
• 3.3.2 贝叶斯估计理论与卡尔曼滤波跟踪
• 3.3.3 粒子滤波方法
• 3.3.4 粒子滤波在手势跟踪中的应用
• 3.4 基于手势指尖检测的手势识别
• 3.4.1 手指几何模型的建立
• 3.4.2 手势区域轮廓提取
• 3.4.3 手势轮廓的等间隔采样
• 3.4.4 手势指尖检测
• 3.5 本章小结
• 第四章 手势指尖的三维重建
• 4.1 引言
• 4.2 双目摄像机标定
• 4.2.1 CMOS摄像机成像模型
• 4.2.2 摄像机标定
• 4.2.3 左右路摄像机标定实验结果
• 4.3 双目视觉成像原理概述
• 4.4 手势指尖特征点的三维重建
• 4.5 指尖三维重建实验结果
• 4.6 本章小结
• 第五章 手势的语义解析以及手势人机交互的实现
• 5.1 手势的语义解析
• 5.2 手势人机交互的实现
• 第六章 总结与展望
• 6.1 总结
• 6.2 展望
• 致谢
• 参考文献
• 附录
• 详细摘要