手势驱动的虚拟演奏系统的研究

论文摘要

基于视觉的手势识别技术是新一代人机交互的重要内容。它使计算机通过摄像头理解人们的手势并做出相应的反应,这将极大地改变人们的生活方式。现在越来越多的人喜欢自己进行音乐演奏,而以计算机手势识别技术为代表的自然人机交互技术逐渐成熟,让人们进行虚拟的音乐演奏成为可能。本论文通过深入研究自然人机交互中的手势识别技术,提出将自然人机交互技术与音乐演奏相结合,利用基于计算机视觉的手势在虚拟环境中演奏音乐,成功地解决了音乐爱好者的烦恼,丰富了人们的精神生活,具有一定的实用性以及可扩展性。文中首先对几种常见的计算机手势识别技术进行分析比较,并选择适合于系统实现的手势驱动技术作为研究重点。然后,针对手势识别过程中会遇到人机距离的问题给出相应的解决方法——利用基于计算机视觉的立体距离测量法筛选出合适的人机间距离,并给出距离测量公式的推导过程。基于计算机视觉的手势识别技术在实现中需要通过手势建模、手势分割以及特征参数提取几个阶段的操作以实现用户手势的实时识别。其中,手势分割是计算机手势识别技术的核心,论文详细论述了手势分割前期的手势定位操作以及依据肤色阈值从图像的HSV色彩空间中划分出人体所在区域的方法,并给出一个利用Freeman链法则进行边缘跟踪优化的算法。最后,基于计算机视觉的手势识别技术,本文实现了一个音乐虚拟演奏系统。使用单目摄像头作为手势输入设备,通过编写的Visual C++控制台程序,进行音乐演奏。论文的最后给出了系统的具体实现。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景与意义
• 1.2 计算机视觉及虚拟现实技术的研究现状
• 1.3 手势虚拟演奏的可行性与难点
• 1.4 本文研究内容与结构
• 第二章 计算机手势输入的技术和方法
• 2.1 手势的定义与分类
• 2.1.1 手势的定义
• 2.1.2 手势的分类
• 2.2 计算机手势输入技术
• 2.2.1 基于数据手套
• 2.2.2 基于计算机视觉
• 2.2.3 本文选用手势输入技术的讨论
• 第三章 计算机视觉的立体距离测量
• 3.1 立体视觉原理
• 3.1.1 视角与焦距
• 3.1.2 坐标系说明
• 3.1.3 立体视觉模型及其三维坐标
• 3.2 透视变换与摄像头模型
• 3.2.1 针孔摄像头模型
• 3.2.2 坐标转换
• 3.3 针孔模型测距方法
• 3.3.1 摄像头朝着正前方的情况
• 3.3.2 摄像头倾斜的情况
• 第四章 手部区域分割与特征提取算法研究
• 4.1 手势建模
• 4.1.1 基于3D模型的手势建模
• 4.1.2 基于表现的手势建模
• 4.1.3 建模方法讨论
• 4.2 手势分割
• 4.2.1 手势定位
• 4.2.2 彩色空间的转换
• 4.2.3 目标检测
• 4.2.4 肤色提取
• 4.2.5 边缘跟踪
• 4.3 形态学滤波
• 4.4 特征参数提取
• 4.4.1 模型参数估计方法
• 4.4.2 脸部与手部位置检测
• 第五章 虚拟演奏系统的设计与实现
• 5.1 系统的发声
• 5.2 系统的体系结构
• 5.2.1 视频初始化
• 5.2.2 手势识别
• 5.2.3 距离测量
• 5.2.4 目标驱动
• 5.3 结果分析
• 5.4 系统关键技术
• 第六章 总结与展望
• 6.1 总结
• 6.2 展望
• 致谢
• 参考文献
• 附录A DirectShow视频捕捉应用
• 攻读硕士学位期间取得的学术成果