基于双目视觉的人手定位与手势识别系统研究

论文摘要

存虚拟现实应用领域,用户在操作虚拟物体时候,传统的鼠标键盘等输入设备很难满足操作沉浸感和趣味性。而人类在平时的交流过程中,除了使用语言、文字沟通之外,还常常借助手势来完成交流任务。因为人手不仅包含大量的符合人类认知习惯的交互信息,而且由于人手的连续运动,还存在三维空间位置信息,因此完全可以将人手位置和手势结合起来,作为一个不可分割的整体进行研究。考虑到光学定位具有安装方便、价格低廉、非接触式测量等优点,本论文设计开发了一套基于光学的人手定位与手势识别系统,该系统在实时定位空间人手三维位置的同时,还能够识别出相应的手势,可将其作为虚拟手的驱动接口,实现对虚拟物体的抓取、移动和释放操作。文中首先对要实现的系统进行了需求分析和功能设计,将整个系统分成六大模块,它们分别为操作者、图像采集模块、人手定位模块、虚实注册模块、手势识别模块和虚拟操作模块,并结合六大模块给出了系统的框架组成。然后分别介绍了这几大模块的实现方法。在人手定位模块中,采用CamShift算法对目标人手进行跟踪,并对该算法进行了改进,实现了全自动人手目标检测。同时提出了一种新的人手特征点提取方法,该方法将人手的质心作为匹配点,然后根据双目视觉定位数学模型计算目标位置信息；在手势识别模块中,利用基于肤色的图像分割技术,首先将摄像机采集的RGB原始图像转变为HSV二值图像,可以避免光照强弱的干扰。然后利用人手轮廓面积和人手质心点像素坐标两个约束条件,在HSV图像中查找并提取手型目标轮廓,接着利用凸包理论,在提取的人手轮廓点集中找到人手的凸包点,利用手型凸包点轮廓面积与原始轮廓面积的比值不同识别手势。最后,介绍了系统实现的软硬件环境和系统实现核心流程图,并给出了一个应用在虚拟化学实验平台中的具体实例。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 课题的背景、来源及意义
• 1.2 国内外研究现状
• 1.3 论文所做的工作与组织结构
• 2 系统的总体框架
• 2.1 系统的需求分析
• 2.2 系统的功能设计
• 2.2.1 系统的设计目标
• 2.2.2 系统的功能模块及框架组成
• 2.3 可能遇到的问题及解决方法
• 2.3.1 系统实现的难点
• 2.3.2 采取的技术路线
• 2.4 本章小结
• 3 人手定位模块的关键技术与实现
• 3.1 目标的实时检测与跟踪
• 3.1.1 CamShift算法
• 3.1.2 改进的CamShift跟踪算法
• 3.2 双目视觉定位原理
• 3.2.1 坐标系说明
• 3.2.2 定位原理
• 3.3 摄像机标定
• 3.3.1 摄像机标定原理
• 3.3.2 标定的实现
• 3.4 人手特征点的提取及定位的实现
• 3.5 三维虚实注册
• 3.6 本章小结
• 4 手势识别模块的关键技术与实现
• 4.1 人手轮廓特征的提取
• 4.1.1 人手轮廓的提取流程
• 4.1.2 原始RGB图像转换为HSV图像
• 4.1.3 图像的形态学去噪
• 4.1.4 边缘检测算法提取轮廓
• 4.1.5 通过约束条件确定人手目标轮廓
• 4.2 手势识别
• 4.2.1 凸包的概念
• 4.2.2 基于凸包点的手势识别原理
• 4.3 手势库的建立
• 4.3.1 BMP图像格式
• 4.3.2 手势数据库的建立
• 4.4 本章小结
• 5 系统实现及应用
• 5.1 原型系统的实现
• 5.1.1 系统开发的软硬件要求
• 5.1.2 系统实现流程图
• 5.1.3 核心函数及功能介绍
• 5.1.4 虚拟化学实验平台简介
• 5.1.5 虚拟手的构建
• 5.1.6 操作规则
• 5.2 实例
• 5.2.1 系统界面介绍
• 5.2.2 操作实例
• 5.3 本章小结
• 6 总结与展望
• 6.1 全文总结
• 6.2 展望
• 参考文献
• 致谢
• 个人简历 在学期间发表的学术论文及研究成果