基于数据手套的半虚拟现实座舱技术初步研究

论文摘要

轻型飞行模拟器采用虚拟现实的立体头盔作为视景设备,虽然确保了模拟器体积小巧,降低视景设备成本,但它却给舱内操作的逼真模拟造成困难。飞行员戴上头盔后看不见实际的开关,也看不见飞行员自己的手,这将在很大程度上影响人机交互过程,进而难以完成飞行训练的逼真模拟。本文提出了一种半虚拟现实座舱解决方案。一方面,应用虚拟现实技术,不但舱外视景用计算机生成,舱内视景也用计算机生成,包括座舱仪表板、各种开关按钮、飞行员手部等。另一方面,所有可触摸操作的部分均保持与实物1:1的比例,即遵循“眼见为虚,手摸为实,虚实一致”原则。首先,本文介绍了如何通过信号采集卡及其提供的API接口实现按钮触碰操作的实时性。其次,在研究了人手的结构和运动特性的基础上,构建了虚拟的手模型,建立从人手到虚拟手的动作映射,实现了用户对虚拟手运动的控制。同时利用数据手套校准初始手型并识别手势,对操作典型按钮类的特征手型进行归纳、标定与记录,提高手势识别精度。再引入六自由度电磁跟踪器LIBERTY,利用特征按钮的三维坐标校准手的空间位置,提高了手部的三维空间定位精度。最后设计了集电磁跟踪器、数据手套、信号采集卡为一体的VegaPrime实时仿真虚实对比试验系统,并在.NET平台下实现了该系统。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题研究背景及意义
• 1.2 国内外研究现状
• 1.2.1 “看穿”方案
• 1.2.2 TOPIT 方案
• 1.2.3 视觉定位跟踪
• 1.2.4 半虚拟现实座舱方案
• 1.3 本文的组织结构
• 第二章 半虚拟现实系统框架简介
• 2.1 系统总体框架
• 2.2 系统环境介绍
• 2.2.1 Multigen Creator
• 2.2.2 Multigen VegaPrime
• 2.2.3 数据手套
• 2.2.4 电磁跟踪器
• 2.2.5 VR1280 数字头盔
• 2.3 本章小结
• 第三章 虚实按钮面板的一致性实现
• 3.1 实物面板制作
• 3.2 虚拟面板建模
• 3.2.1 创建数据库
• 3.2.2 创建DOF 节点
• 3.2.3 添加材质与纹理
• 3.3 按钮操作一致性实现
• 3.3.1 采集卡接口扩展
• 3.3.2 面板实时监控
• 3.3.3 DOF 节点控制
• 3.4 本章小结
• 第四章 基于数据手套的手型校准与标定
• 4.1 手势识别分类
• 4.2 虚拟手建模
• 4.2.1 手的结构分析
• 4.2.2 手的运动学分析
• 4.2.3 Creator 中的虚拟手建模
• 4.3 基于DCU 的手型初始标定
• 4.3.1 数据手套硬件连接
• 4.3.2 DCU 应用
• 4.3.3 一般标定
• 4.3.4 高级标定
• 4.4 基于VHT 的特征手型标定
• 4.4.1 VHT 接口定义
• 4.4.2 特征手型分析
• 4.4.3 特征手型标定
• 4.5 手型校准与标定的意义
• 4.6 本章小结
• 第五章 虚实对比试验系统的设计与实现
• 5.1 LIBERTY 应用
• 5.1.1 坐标系定义与变换
• 5.1.2 跟踪器的初始调试
• 5.1.3 PDI 接口定义与开发流程
• 5.2 系统概要设计
• 5.2.1 I/O 接口设计
• 5.2.2 系统流程设计
• 5.2.3 基础类库设计
• 5.3 系统详细设计
• 5.3.1 编译环境定义
• 5.3.2 多跟踪器数据分离模块
• 5.3.3 跟踪器数据滤波模块
• 5.3.4 实时更新模块
• 5.3.5 按钮操作校准手定位误差模块
• 5.4 虚实对比试验结果
• 5.5 本章小结
• 第六章 结束语
• 6.1 总结
• 6.2 展望
• 参考文献
• 致谢
• 在学期间的研究成果及发表的学术论文