基于视觉的多点触控系统关键技术研究

论文摘要

多点触控技术属于人机交互领域。在计算机的处理能力和存储能力提高的情况下,人机界面开发得到重视,多点触控与语音识别,手势交互等成为了新一代人机交互领域的代表性技术。多点触控技术的早期研究一般局限在实验室研究或者特定的工作应用上,复杂的技术原理和昂贵的价格使普通用户望尘莫及。随着计算机的处理能力的提高,多点触控技术不再依赖于昂贵的设备。以摄像头,传感器,电容电阻作为基础设备的多点触控设备应运而生。其中,基于视觉的多点触控技术以它的可扩展性和低成本,以及容易搭建的优势成为近几年的研究热点。当今世界上有许多组织和机构都在积极地对此项技术进行研究、开发以及推广。尽管拥有一台属于自己的多点触控设备已经不再是梦想,然而,这项技术的设计原理以及实现细节,对于很多用户来说依旧神秘。基于视觉的多点触控系统以硬件为支撑,通过软件进行图像处理和应用程序的开发。本文首先将对当前存在的各种基于视觉的多点触控技术的设计原理和搭建要求进行分析和比较,并在此基础上,采用FTIR (Frustrated Total Internal Reflection)技术构建一个多点触控设备作为本研究的实验环境。然后,结合涉及系统开发的OpenCV函数,对基于视觉的多点触控系统中所涉及的图像处理,特征点检测,特征点跟踪以及坐标定位等关键技术进行了详细的研究和分析。稍后,对于手势识别以及应用程序的开发也将进行相关的介绍。多点触控技术不仅可以同时识别多个作用点,还能够满足多个用户同时进行操作。针对此性质,在本文的最后一部分对如何通过增加摄像头数目并结合图像处理的方式扩大界面尺寸的问题进行讨论和设计。实验证明,尽管基于视觉的多点触控技术容易受设备质量和环境因素的影响,在精准度和响应速度上还存在一些不足,但是已经完全可以完成人机交互的工作。随着接口技术的发展和应用的开发,多点触控技术在改善人机交互方式上存在巨大的潜力。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 引言
• 1.2 多点触控技术发展现状
• 1.3 研究内容及论文结构
• 1.3.1 论文的选题意义及主要研究内容
• 1.3.2 论文结构
• 第二章 基于视觉的多点触控技术
• 2.1 基于视觉的多点触控技术系统框架
• 2.2 基于视觉的多点触控设备
• 2.3 小结
• 第三章 特征点检测及跟踪
• 3.1 图像处理
• 3.1.1 图像处理流程
• 3.1.2 径向失真校正
• 3.2 特征点检测与跟踪
• 3.2.1 特征点检测
• 3.2.2 特征点跟踪
• 3.3 摄像头坐标定位
• 3.4 小结
• 第四章 手势识别及应用程序
• 4.1 手势识别
• 4.2 应用程序
• 4.2.1 应用程序接口
• 4.2.2 应用程序开发
• 4.3 小结
• 第五章 大尺寸多点触控屏幕的开发
• 5.1 开发要求
• 5.2 设计思想
• 5.2.1 图像拼接技术
• 5.2.2 多摄像头图像定位
• 5.3 小结
• 第六章 实验分析
• 6.1 实验环境
• 6.1.1 FTIR环境搭建
• 6.1.2 软件环境运行
• 6.2 实验数据
• 第七章 结论与展望
• 7.1 总结
• 7.2 技术展望
• 致谢
• 参考文献
• 附录A （攻读学位期间论文发表情况）
• 附录B VS2005下OPENCV的安装与编译
• 附录C Touchlib编译说明