基于双目视觉的人手定位与手势识别系统研究

基于双目视觉的人手定位与手势识别系统研究

论文摘要

存虚拟现实应用领域,用户在操作虚拟物体时候,传统的鼠标键盘等输入设备很难满足操作沉浸感和趣味性。而人类在平时的交流过程中,除了使用语言、文字沟通之外,还常常借助手势来完成交流任务。因为人手不仅包含大量的符合人类认知习惯的交互信息,而且由于人手的连续运动,还存在三维空间位置信息,因此完全可以将人手位置和手势结合起来,作为一个不可分割的整体进行研究。考虑到光学定位具有安装方便、价格低廉、非接触式测量等优点,本论文设计开发了一套基于光学的人手定位与手势识别系统,该系统在实时定位空间人手三维位置的同时,还能够识别出相应的手势,可将其作为虚拟手的驱动接口,实现对虚拟物体的抓取、移动和释放操作。文中首先对要实现的系统进行了需求分析和功能设计,将整个系统分成六大模块,它们分别为操作者、图像采集模块、人手定位模块、虚实注册模块、手势识别模块和虚拟操作模块,并结合六大模块给出了系统的框架组成。然后分别介绍了这几大模块的实现方法。在人手定位模块中,采用CamShift算法对目标人手进行跟踪,并对该算法进行了改进,实现了全自动人手目标检测。同时提出了一种新的人手特征点提取方法,该方法将人手的质心作为匹配点,然后根据双目视觉定位数学模型计算目标位置信息;在手势识别模块中,利用基于肤色的图像分割技术,首先将摄像机采集的RGB原始图像转变为HSV二值图像,可以避免光照强弱的干扰。然后利用人手轮廓面积和人手质心点像素坐标两个约束条件,在HSV图像中查找并提取手型目标轮廓,接着利用凸包理论,在提取的人手轮廓点集中找到人手的凸包点,利用手型凸包点轮廓面积与原始轮廓面积的比值不同识别手势。最后,介绍了系统实现的软硬件环境和系统实现核心流程图,并给出了一个应用在虚拟化学实验平台中的具体实例。

论文目录

  • 摘要
  • Abstract
  • 1 绪论
  • 1.1 课题的背景、来源及意义
  • 1.2 国内外研究现状
  • 1.3 论文所做的工作与组织结构
  • 2 系统的总体框架
  • 2.1 系统的需求分析
  • 2.2 系统的功能设计
  • 2.2.1 系统的设计目标
  • 2.2.2 系统的功能模块及框架组成
  • 2.3 可能遇到的问题及解决方法
  • 2.3.1 系统实现的难点
  • 2.3.2 采取的技术路线
  • 2.4 本章小结
  • 3 人手定位模块的关键技术与实现
  • 3.1 目标的实时检测与跟踪
  • 3.1.1 CamShift算法
  • 3.1.2 改进的CamShift跟踪算法
  • 3.2 双目视觉定位原理
  • 3.2.1 坐标系说明
  • 3.2.2 定位原理
  • 3.3 摄像机标定
  • 3.3.1 摄像机标定原理
  • 3.3.2 标定的实现
  • 3.4 人手特征点的提取及定位的实现
  • 3.5 三维虚实注册
  • 3.6 本章小结
  • 4 手势识别模块的关键技术与实现
  • 4.1 人手轮廓特征的提取
  • 4.1.1 人手轮廓的提取流程
  • 4.1.2 原始RGB图像转换为HSV图像
  • 4.1.3 图像的形态学去噪
  • 4.1.4 边缘检测算法提取轮廓
  • 4.1.5 通过约束条件确定人手目标轮廓
  • 4.2 手势识别
  • 4.2.1 凸包的概念
  • 4.2.2 基于凸包点的手势识别原理
  • 4.3 手势库的建立
  • 4.3.1 BMP图像格式
  • 4.3.2 手势数据库的建立
  • 4.4 本章小结
  • 5 系统实现及应用
  • 5.1 原型系统的实现
  • 5.1.1 系统开发的软硬件要求
  • 5.1.2 系统实现流程图
  • 5.1.3 核心函数及功能介绍
  • 5.1.4 虚拟化学实验平台简介
  • 5.1.5 虚拟手的构建
  • 5.1.6 操作规则
  • 5.2 实例
  • 5.2.1 系统界面介绍
  • 5.2.2 操作实例
  • 5.3 本章小结
  • 6 总结与展望
  • 6.1 全文总结
  • 6.2 展望
  • 参考文献
  • 致谢
  • 个人简历 在学期间发表的学术论文及研究成果
  • 相关论文文献

    • [1].双目视觉定位在无人机电力巡检中的应用[J]. 集成电路应用 2020(04)
    • [2].双目视觉技术在智能机器人中的应用研究[J]. 赤峰学院学报(自然科学版) 2016(21)
    • [3].双目视觉定位在无人机电力巡检中的应用[J]. 黑龙江科技信息 2017(14)
    • [4].基于双目视觉的主从式果园作业车辆自主跟随系统设计[J]. 湖南农业大学学报(自然科学版) 2016(03)
    • [5].基于双目视觉的空间坐标检测[J]. 信息系统工程 2020(09)
    • [6].双目视觉在田间秸秆覆盖率监测系统中的应用[J]. 南方农机 2019(20)
    • [7].双目视觉脉搏图像采集系统精度分析[J]. 自动化与仪表 2017(09)
    • [8].基于单双目视觉融合的车辆检测和跟踪算法[J]. 交通运输工程学报 2015(06)
    • [9].双目视觉机器人拧紧系统的应用[J]. 机电信息 2020(32)
    • [10].无人水面艇的双目视觉应用[J]. 珠江水运 2019(06)
    • [11].双目视觉技术在人机交互体育运动中的应用[J]. 自动化与仪器仪表 2016(10)
    • [12].双目视觉引导机器人定位抓取技术的研究[J]. 组合机床与自动化加工技术 2019(01)
    • [13].基于双目视觉感兴趣区域的行人检测[J]. 信息通信 2018(03)
    • [14].基于双目视觉的自动驾驶算法[J]. 江西科学 2016(01)
    • [15].应用于室内的双目视觉定位算法[J]. 科技通报 2020(02)
    • [16].基于双目视觉的钻杆接头定位系统设计[J]. 组合机床与自动化加工技术 2020(02)
    • [17].人工智能双目视觉闸机的可靠性分析[J]. 机械工业标准化与质量 2020(02)
    • [18].基于双目视觉测量技术的汽车等高性能检测[J]. 汽车实用技术 2019(21)
    • [19].基于双目视觉的工件测量研究[J]. 智能计算机与应用 2018(01)
    • [20].基于双目视觉的快速定位与测距方法[J]. 安徽工业大学学报(自然科学版) 2017(04)
    • [21].一种基于速度预测的双目视觉跟踪混合算法[J]. 自动化仪表 2018(04)
    • [22].基于双目视觉的双臂作业型服务机器人的研制[J]. 机械设计与制造 2010(04)
    • [23].点物双目视觉的香农信息熵[J]. 激光杂志 2010(02)
    • [24].基于仿真机器人的双目视觉定位[J]. 电视技术 2010(08)
    • [25].基于双目视觉的焊缝跟踪系统研究[J]. 长春理工大学学报(自然科学版) 2019(01)
    • [26].双目视觉在智能导盲眼镜中的应用[J]. 电子世界 2018(09)
    • [27].基于角点检测的双目视觉测距新方法[J]. 电光与控制 2013(07)
    • [28].基于双目视觉技术的供补弹机构对接方法[J]. 兵器装备工程学报 2019(01)
    • [29].基于自标定双目视觉算法的3维图像构建[J]. 激光技术 2012(03)
    • [30].双目视觉测距在自动泊车系统中的应用[J]. 现代信息科技 2020(01)

    标签:;  ;  ;  ;  ;  

    基于双目视觉的人手定位与手势识别系统研究
    下载Doc文档

    猜你喜欢