虚拟环境下几种三维交互技术的研究

论文摘要

为虚拟现实系统提供一系列丰富、可靠、自然的人机交互手段是虚拟现实与人机交互领域当前需要解决的问题之一。就此问题,本文研究了适用于虚拟环境下的几种三维交互技术。提出了一种基于加速度计的三维手势交互技术,先对加速度计的输入数据进行建模,之后与预定义的标准手势模型进行匹配,得出最佳匹配结果,最终完成特定的交互功能。设计了一种基于加速度计、陀螺仪、磁力计的肢体运动捕捉系统,在此系统之上提出了一种基于动作捕捉的三维交互技术,借助传感器的输出数据来重建肢体主关节点空间坐标与运动轨迹,进而与虚拟物体进行三维交互。提出了一种基于压力感应器的三维交互技术,利用压力感应器获得用户重心偏移向量,以此控制三维虚拟化身的运动。在此基础之上,本文将基于加速度计手势识别的三维交互技术应用于虚拟数字奥运博物馆原型系统中,首先建立手势-语义映射表,训练标准手势,最后对输入手势进行识别,根据识别结果完成交互语义。实验结果表明,利用该算法可有效快速地识别出用户输入的手势,用户凭借此方法能准确无误地完成交互。除此之外,本文还将基于压力感应器、语音识别的三维交互技术应用于虚拟驾驶模拟系统中,实现了用户通过压力感应器进行油门、制动等车辆操作,使用语音命令来进行系统的一般性控制,同时系统提供了丰富的交互反馈信息。实验结果表明,用户通过上述两个三维交互子系统均获得了较为理想的交互效果。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 虚拟现实
• 1.2 人机交互
• 1.3 三维人机交互
• 1.4 虚拟环境下的多通道三维交互技术
• 1.5 本文工作
• 第2章 虚拟环境下的三维交互
• 2.1 基于加速度计的手势识别算法及其应用
• 2.1.1 相关工作
• 2.1.2 基于加速度计的手势识别算法
• 2.1.3 在三维交互中的应用
• 2.1.4 开发交互子系统
• 2.2 基于惯性式传感器的运动捕捉及其应用
• 2.2.1 相关工作
• 2.2.2 基于惯性式传感器的运动捕捉算法
• 2.2.3 在三维交互中的应用
• 2.3 基于压力传感器的三维交互技术
• 2.3.1 近似重心偏移判定方法
• 2.3.2 三维交互中的应用
• 2.4 本章小结
• 第3章 虚拟数字奥运博物馆交互子系统设计与实现
• 3.1 项目背景
• 3.2 系统概要
• 3.3 交互子系统设计
• 3.3.1 三维交互模型设计
• 3.3.2 交互语义库设计
• 3.3.3 交互结果反馈设计
• 3.4 三维交互子系统实现
• 3.4.1 建立标准手势-交互语义映射表
• 3.4.2 训练标准手势
• 3.4.3 系统流程
• 3.4.4 实验结果与分析
• 3.5 本章小结
• 第4章 虚拟驾驶交互子系统设计与实现
• 4.1 系统概要
• 4.2 三维交互子系统设计
• 4.3 三维交互子系统实现
• 4.3.1 Wii Balance Board交互模块
• 4.3.2 语音交互模块
• 4.4 交互系统反馈
• 4.4.1 动态油量显示
• 4.4.2 仪表盘
• 4.4.3 虚拟导航地图
• 4.5 本章小结
• 第5章 总结与展望
• 5.1 本文总结
• 5.2 进一步工作展望
• 参考文献
• 致谢
• 攻读硕士学位期间主要的研究成果
• 个人简历