基于计算机视觉的手势识别系统研究

论文摘要

基于视觉的手势识别技术是新一代人机交互的重要内容，使用计算机通过摄像头理解人们的手势并做出相应的反应，使人们摆脱了传统的键盘鼠标，将改变人们的生产生活方式。本文概论了基于视觉的手势识别的基本理论和研究状况，构建了一个基于手部约束的模型，然后对手进行分割。提出SVM的改进分类算法后，讨论了手部的运动跟踪和估计，最后介绍了一个实时的手势识别系统。通过研究证明基于视觉的手势识别具有很高的研究价值和发展前景。论文的创新点如下：●提出了基于骨骼约束关系的模糊点脊模型，通过点脊模型，忽略弯曲的部分因素，实现对手部区域的定位。算法优势在于能够剔除非关键信息，减少了图像特征的数目，节省了运行时间。●提出了用于分割期间手势分类的SBB算法，对比Adaboost等算法，适合数目较多的字母手势的分类。保持了原有Boosting算法良好的泛化特性，能够克服一定的遮挡和弯曲。●提出了一种肤色关联光流估计算法。较好解决了跟踪过程中动态手势遮挡的问题，能克服一定的运动模糊带来的困难，对于光照不敏感。●提出了一个基于肤色的相干映射手势跟踪算法。利用一般关联映射建立起点周围的矩形区域和环绕区域的映射，通过空间变换弱化了手势图像的模糊现象对识别的干扰，保证了映射过程中特征点的抗畸变性能。●提出了一个一对多的多层次SVM学习的判决规则。使用一对多分类器，避免了一对一分类器巨大的计算量。多层次的SVM，保证了分类过程中的较低开销。

论文目录

• 致谢
• 中文摘要
• ABSTRACT
• 1 综述
• 1.1 引言
• 1.2 目前人机交互系统存在的不足
• 1.3 基于视觉的手势识别系统的基本框架
• 1.4 VBGR技术的主要应用领域
• 1.5 VBGR的分类
• 1.5.1 按研究方式的宏微观的划分
• 1.5.1.1 基于轮廓的方法
• 1.5.1.2 基于模型的方法
• 1.5.2 按学习方法的划分
• 1.5.3 按采集方式的划分
• 1.5.4 按时空关系的划分
• 1.5.5 按目的划分
• 1.5.6 其他划分
• 1.6 VBGR的基本要求及性能指标
• 1.7 VBGR目前遇到的难题
• 1.8 VBGR涉及到的技术
• 1.9 确定VBGR进行研究的思路
• 1.9.1 与其它识别方法的比较
• 1.9.2 本文研究的对象
• 1.9.3 本文的选题意义
• 1.10 VBGR的国内外研究动态
• 1.10.1 国际的研究情况
• 1.10.2 国内的研究情况
• 1.11 本文的内容安排
• 1.12 小结
• 2 基于视觉的手势识别相关技术基础
• 2.1 相关的分割算法
• 2.1.1 阈值分割算法
• 2.1.2 主动轮廓模型算法
• 2.1.3 基于边界的分割算法
• 2.1.4 区域增长分割算法
• 2.1.4.1 肤色区域生长算法
• 2.1.4.2 ROI区域生长算法
• 2.2 用于分类的相关算法介绍
• 2.2.1 主元分析法和其衍生算法
• 2.2.2 线性指尖模型
• 2.2.3 运动因果因素分析
• 2.3 学习算法
• 2.3.1 单一学习算法
• 2.3.1.1 基于实例的方法
• 2.3.1.2 基于隐马尔科夫模型（HMM）
• 2.3.1.3 基于神经网络
• 2.3.1.4 支撑向量机
• 2.3.2 复合学习算法
• 2.4 相关的颜色空间分析
• 2.4.1 对肤色分布区域的特定色彩变换
• 2.4.2 由RGB空间到CIELab空间的转换
• 2.4.3 HSV空间坐标转换
• 2.5 小结
• 3 基于约束的手部关节模型的研究
• 3.1 手势模型的分类及特点
• 3.1.1 基于三维的手势模型
• 3.1.2 基于表观的手势模型
• 3.2 手部骨骼模型的构建
• 3.2.1 手的骨骼结构
• 3.2.2 关节运动分析
• 3.3 基于约束的手部模型设计
• 3.3.1 建模的依据
• 3.3.2 手部的一般运动约束
• 3.3.3 手指模型的特殊约束
• 3.3.4 模糊点脊模型（BR Model）
• 3.3.4.1 图像特征分析
• 3.3.4.2 尺度空间
• 3.3.4.3 特征间关系
• 3.3.4.4 手特征和点脊模型
• 3.3.4.5 点脊模型的手部尺度估计
• 3.4 试验结果和讨论
• 3.4.1 改进的DOF骨骼手部特征定位结果
• 3.4.2 点脊模型的手部特征定位结果
• 3.4.3 基于DOF约束的人手模型矩形体仿真（无输入）
• 3.4.4 基于约束的人手模型椭圆体仿真（有输入）
• 3.4.5 实验对比和讨论
• 3.5 小结
• 4 手部区域分割与特征提取算法研究
• 4.1 基于视觉的手势分割和特征提取研究简介
• 4.2 手势分割分类和特点
• 4.3 结合肤色的手势分割算法
• 4.3.1 手势分割的预处理技术
• 4.3.1.1 改进的差分分割算法
• 4.3.1.2 手指定位的几何学分析
• 4.3.1.3 手势图像的配准
• 4.3.2 肤色空间的处理
• 4.3.2.1 CIELab空间的手势平均转移分割
• 4.3.2.2 HSV空间的手势分析
• 4.3.3 基于HSV色度的直方图匹配算法
• 4.3.4 提取手部区域
• 4.4 特征提取的SBB算法
• 4.4.1 Boosting算法简述
• 4.4.2 NNMF算法
• 4.4.3 SBB弱假设基本原理
• 4.4.4 分类算法分析
• 4.4.5 算法基本步骤
• 4.5 实验结果
• 4.5.1 基于肤色的差分分割提取实验
• 4.5.2 对指尖的定位搜索实验
• 4.5.3 HSV色度的直方图匹配实验
• 4.5.4 基于SBB算法的手势识别结果
• 4.6 小结
• 5 基于多分类器的多层次支持向量机手势识别算法研究
• 5.1 引言
• 5.2 最佳分配平面（OSH）的获取
• 5.2.1 优化问题的提出
• 5.2.2 分类器和和函数设定
• 5.2.3 支撑向量的更新
• 5.2.4 多分类识别--一对多策略
• 5.2.5 SVM优化判决器
• 5.2.6 误检测的惩罚
• 5.3 实验结果和讨论
• 5.4 小结和讨论
• 6 基于视觉的手部运动跟踪和分析算法研究
• 6.1 基于视觉的运动跟踪分类与概况
• 6.1.1 基于视觉的运动跟踪分类
• 6.1.2 基于视觉的手势跟踪原理基础
• 6.1.3 目前的研究状况
• 6.1.3.1 研究进展
• 6.1.4 问题的提出
• 6.2 基于视觉的运动跟踪算法
• 6.2.1 假设模型
• 6.2.2 手部窗口搜索
• 6.2.3 手部特征点采样
• 6.3 肤色关联光流估计跟踪算法
• 6.3.1 传统光流法的问题
• 6.3.2 肤色模型、运动检测和置信度的设置
• 6.3.2.1 混合肤色模型
• 6.3.2.2 运动检测
• 6.3.2.3 流估计的置信度评价问题
• 6.3.2.4 搜索模式
• 6.3.2.5 光流分割
• 6.3.3 关联光流法的计算
• 6.3.3.1 光流参数序列
• 6.3.3.2 光流网格点的数目，网格点间隔下的约束
• 6.3.3.3 光流搜索窗口，像素锐化率和图像取样率
• 6.3.3.4 关联区域块的尺寸
• 6.4 基于肤色的相干映射手势跟踪算法
• 6.4.1 研究现状
• 6.4.2 手部骨骼模型约束和转移矩阵
• 6.4.3 手势识别的取样算法
• 6.4.3.1 重点取样
• 6.4.3.2 重点因子选择
• 6.4.3.3 轮廓生成
• 6.4.4 相干映射手部运动轨迹的提取
• 6.4.5 手部跟踪的估计算法
• 6.4.6 预测的建立
• 6.4.6.1 测算法
• 6.4.6.2 状态估计
• 6.5 实验和讨论
• 6.5.1 实验1:使用光流法进行手势跟踪
• 6.5.2 实验2:使用向量相干映射进行手部跟踪和特征提取
• 6.6 小结和讨论
• 7 基于视觉的英文字母手势识别系统实现
• 7.1 系统概述
• 7.2 系统的设计
• 7.2.1 设计诸元
• 7.2.1.1 界面对话设计要求
• 7.2.1.2 手势模型设计
• 7.2.1.3 数据输入界面设计思想
• 7.2.1.4 系统的应用标准
• 7.2.2 识别反应要求
• 7.3 系统运行过程
• 7.3.1 手指定位
• 7.3.2 关节和角度的定位
• 7.3.3 识别输出
• 7.3.4 系统运行
• 7.4 小结
• 8 结论与展望
• 参考文献
• 作者简历
• 学位论文数据集