基于虚拟现实技术的人机交互仿真系统开发与应用

论文摘要

针对传统仿真系统在人机交互、实时响应、立体现实、数据采集等方面存在的不足,综合利用多种虚拟现实软硬件技术,构建一个可供人与系统中的虚拟对象进行交互操作的仿真系统,系统通过实时采集人机交互过程中的相关操作数据,以人因工程的思想和方法测量人机交互绩效,继而评价设计质量。系统亦可用于高机动雷达架设等方面的虚拟培训。论文首先介绍了虚拟现实技术、人机交互技术和人因工程的基本理论及国内外基于虚拟现实技术的相关研究现状及趋势。分析了主流软件平台的相关优缺点,提出了基于Division Mockup平台的操作实时响应的实现方法。研究了主流的立体投影方法及其成像原理,选择单通道被动立体投影系统实现了数据的立体显示。除此之外,对虚拟场景、虚拟手的静态建模和动态控制进行了分析和研究,提出了具体的实现方案。通过研究虚拟手的运动规律,以图形转换矩阵理论为依据,实现对虚拟手的运动表达。最后,研究了数据手套数据传输方式和Division Mockup平台的数据接口,通过第三方插件的引入和配置实现了两者之间的无缝集成。最后对所做工作进行了总结,并展望了今后的研究工作。

论文目录

• 摘要
• ABSTRACT
• 致谢
• 第一章 绪论
• 1.1 引言
• 1.2 虚拟现实技术简介
• 1.2.1 虚拟现实技术的发展概况
• 1.2.2 虚拟现实技术的特征
• 1.3 本课题的来源
• 1.4 论文的主要研究工作
• 第二章 人机交互技术综述
• 2.1 人机交互技术概念及其发展现状
• 2.2 虚拟现实中的人机交互技术
• 2.2.1 视觉通道
• 2.2.1.1 立体视觉成像原理
• 2.2.1.2 立体显示技术分类及优缺点
• 2.2.2 听觉通道
• 2.2.3 语言通道
• 2.2.4 行为输入通道
• 2.3 人因工程与人机交互
• 2.4 本章小结
• 第三章 关键技术
• 3.1 虚拟场景及虚拟手的静态构建
• 3.1.1 虚拟场景建模
• 3.1.2 虚拟手建模
• 3.2 虚拟手势交互
• 3.2.1 虚拟环境中的手势交互原理
• 3.2.1.1 虚拟手势的基本概念
• 3.2.1.2 虚拟手势交互的原理
• 3.2.2 虚拟手势输入
• 3.2.2.1 基于计算机视觉的手势输入
• 3.2.2.2 基于数据手套的手势输入
• 3.2.3 虚拟手势规则定义
• 3.2.4 虚拟手势识别
• 3.2.4.1 虚拟手势识别的数学描述
• 3.2.4.2 虚拟手势识别
• 3.3 虚拟手位姿控制
• 3.3.1 手指位姿控制
• 3.3.2 手掌位姿控制
• 3.3.3 基于虚拟手的实时碰撞检测
• 3.4 虚拟现实的外设集成技术
• 3.5 本章小结
• 第四章 基于虚拟现实技术的人机交互系统设计及应用
• 4.1 系统的构成
• 4.2 系统的整体技术方案
• 4.2.1 软件平台
• 4.2.2 硬件系统
• 4.2.2.1 数据手套
• 4.2.2.2 跟踪器
• 4.2.2.3 高性能图形计算机设备
• 4.3 操作实时响应的实现方法
• 4.4 应用实例
• 4.4.1 显控台布局方案选择
• 4.4.2 虚拟培训
• 4.5 本章小结
• 第五章 总结与展望
• 5.1 工作总结
• 5.2 展望
• 参考文献
• 硕士期间发表的学术论文