沉浸式虚拟射击训练系统中人机交互的研究

论文摘要

虚拟现实系统利用计算机技术生成逼真的虚拟环境,提供用户视觉、听觉和触觉等感官的模拟,使用户产生身临其境的沉浸感。它在娱乐、教育、军事训练等许多领域有着重要的应用价值,因而它的交互方式成为近年来计算机领域的研究热点。最常用的数据手套、数据衣等传感器虽然提供了较人性化的交互方式,但它们价格昂贵同时也会给用户带来不适感。本文以计算机辅助射击训练系统为研究背景,设计并搭建了具有高度沉浸感的虚拟现实训练系统的软硬件环境,采用计算机视觉相关技术实现了自然的人机交互和实时的系统响应。本文的主要工作和贡献如下:1)设计实现了沉浸式训练系统的交互硬件平台。搭建了一个广角投影显示装置,使用户在视觉上感受到高度的战场沉浸感。设计研制了可无线通信的红外激光仿真枪,使用户可以用与真实射击动作完全相同的自然方式进行射击交互,并采用红外摄像头准确捕捉红外反射光的方法实时计算用户3D位置及动作,保证沉浸式场景随用户的身体移动而产生真实感的变换。2)精确实时地捕捉用户扣动扳机时刻红外激光仿真枪在投影屏幕上的射击命中点。使用二维射影变换结合角点检测技术校正了由于摄像头位置原因造成的图像中投影屏幕的变形,利用阈值分割和仿射变换计算射击命中点在投影屏幕上的坐标,最后对该坐标进行了修正以得到更精确的结果。3)研究了摄像头成像模型以及摄像头标定原理,并用张正友标定法对捕捉人体运动的摄像头进行了标定,从而建立了虚拟场景与现实三维空间的关联。4)准确实时地捕捉用户在训练时的身体运动。使用背景差分法以及图像形态学操作提取人体剪影图像,接着使用apar条带检测用户身体各个部位,从而对用户身上的标记进行了识别和初始化。然后用Kalman滤波、极线约束以及人体约束对视频帧序列中的标记点进行了跟踪,同时使用双目立体视觉计算它们的三维空间位置,从而达到了准确实时捕捉人体运动的目的。

论文目录

• 摘要
• ABSTRACT
• 插图目录
• 第一章 绪论
• 1.1 研究背景、目的和意义
• 1.2 相关技术
• 1.2.1 人机交互
• 1.2.2 立体视觉
• 1.2.3 人体运动捕捉
• 1.3 研究目标和内容
• 1.4 本文的组织结构
• 第二章 系统的设计与实现
• 2.1 整体系统的架构
• 2.1.1 硬件环境的搭建
• 2.1.2 整体系统软件功能
• 2.2 交互子系统设计
• 2.2.1 交互子系统的功能
• 2.2.2 射击命中点的捕捉模块的设计
• 2.2.3 人体运动捕捉模块的设计
• 2.3 本章小结
• 第三章 射击命中点的精确捕捉
• 3.1 射击命中点捕捉的流程
• 3.2 二维射影变换
• 3.3 角点检测
• 3.3.1 Harris角点检测
• 3.3.2 亚像素级角点检测
• 3.4 捕捉射击命中点的具体实现
• 3.4.1 校正拍摄的图像
• 3.4.2 图像分割
• 3.4.3 计算射击命中点
• 3.4.4 修正射击命中点的坐标
• 3.5 本章小结
• 第四章 摄像头标定
• 4.1 线性模型摄像头标定
• 4.1.1 线性摄像头模型
• 4.1.2 线性模型摄像头标定
• 4.2 张正友标定法
• 4.3 本章小结
• 第五章 基于视频的人体运动捕捉
• 5.1 人体运动捕捉流程
• 5.2 基于人体区域特征的标记点识别
• 5.2.1 人体模型
• 5.2.2 提取人体剪影
• 5.2.3 提取轮廓特征点
• 5.2.4 识标记点
• 5.3 KALMAN滤波
• 5.4 计算标记点的三维空间位置
• 5.5 本章小结
• 第六章 实验结果与分析
• 6.1 实验环境
• 6.2 射击命中点的捕捉实验和结果
• 6.2.1 硬件设备
• 6.2.2 射击命中点的捕捉
• 6.3 人体运动捕捉的实验和结果
• 6.3.1 硬件设备
• 6.3.2 人体运动捕捉
• 6.4 本章小结
• 第七章 总结与展望
• 7.1 本文工作总结
• 7.2 展望
• 参考文献
• 致谢
• 攻读硕士学位期间已发表或录用的论文
• 攻读硕士学位期间发表的学术论文
• 攻读硕士学位期间参加完成的项目