人机交互中的手指定位研究与应用

论文摘要

触摸技术作为一种刚刚兴起的人机交互方式,在工业、娱乐和个人数码设备方面正得到越来越广泛的应用。由于其人性化的操作方式、良好的用户体验,触摸技术无论是对专业厂商还是普通用户,都具有相当的吸引力。但是,以往都只是简单的单触点操作,仅仅实现了一般的鼠标模拟,大大削弱了它的魅力。本论文在这样的情景下,对多点触摸技术中的手指定位做了细致的探讨,研究了其中可能会遇到的问题,给出了一个初步的应用示例。论文研究的重点在于多个触摸手指信息的采集和分析处理,涉及到光学成像、平面映射和摄像头交汇定位,同时对触摸信息的应用进行了初步的探索。一般来说,多点触摸技术包括三个方面:一是多个手指点的定位,二是多个手指点的跟踪处理,三是各种定义手势的识别。多点定位是另外两个方面的基础,也是直接与用户输入形式打交道的层面。目前也有多种方式可以实现手指的定位,包括感应电容、感应电阻、红外线、超声波和基于光学成像的技术。本文采用了基于光学成像的定位技术,以普通CMOS摄像头作为图像采集设备,借鉴计算机视觉中的测量方法,利用多个摄像头的三角测量原理,实现了屏幕表面一定精度的定位,并简单演示了多点触摸的应用,具有较强的新颖性和实用性。本论文研究的重点和难点在于采集图像的畸变矫正、虚假手指点的剔除和手指点的跟踪,以及整个系统的搭建。图像的畸变矫正处理非理想镜头得到的图像,矫正图像点位置,使其符合摄像头模型定义。虚假手指点的剔除处理在遮挡和多手指点情形下存在的虚假手指点。手指点的跟踪是在获得手指点的前提下,对手指点的运动进行标记记录,以实现更复杂的手势识别。手势识别是多点触摸交互式输入的最终目的,识别的手势可用于更高级的应用。整个系统在这些功能和各个模块的支撑下,实现了一个初步的应用。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究的背景、目的和意义
• 1.2 技术方案综述
• 1.3 研究内容及章节安排
• 2 多点手指定位系统概述
• 2.1 系统概述
• 2.2 功能模块
• 3 采集和畸变矫正
• 3.1 采集模块概述
• 3.2 单个镜头的畸变矫正
• 4 手指分割及定位
• 4.1 分割方法概述
• 4.2 肤色检测
• 4.3 背景方法
• 4.4 坐标映射
• 5 手指筛选和手势识别
• 5.1 摄像头交汇原理
• 5.2 伪手指点的现象及原因
• 5.3 直线交点聚合度量
• 5.4 逻辑组合的筛选
• 5.5 跟踪手指和识别手势
• 6 实验分析和应用
• 6.1 手指定位结果分析
• 6.2 应用环境和适应性
• 7 总结与展望
• 7.1 本文总结
• 7.2 进一步的工作展望
• 致谢
• 参考文献