增强现实系统中的三维用户界面设计与实现

论文摘要

用户界面是人与计算机之间的通信接口,是人机交互技术的具体表现形态,直接关系到交互系统的成败。增强现实技术是一种三维界面技术,能够实现用户在物理世界和虚拟世界相互融合、增强和弥补的三维环境里执行一系列三维交互操作,具有广阔的应用前景,是新一代以人为中心的用户界面的重要模式之一。但是,它同时也带来了与传统二维用户界面截然不同的交互方式、界面隐喻和可用性等交互设计问题,因此,研究适于特定应用背景下三维虚实环境中的三维用户界面是增强现实应用系统中的研究重点。针对设备维护与维修系统的具体应用背景下,如何提高虚实增强的三维世界中的用户视觉真实感和三维交互感为出发点,论文以人类工效学、心理学为基础的可用性工程的用户分类法为指导对界面进行需求和任务分析,并导出了界面元素特征、交互技术和系统设计方案。论文的主要思想是利用界面隐喻模型、计算机三维图形学算法和手势交互技术来设计三维虚实交互环境中的三维用户界面。具体实现了适于系统的两种三维用户界面方案:其一,基于GUI的三维用户界面。实体组件元素采用基于桌面隐喻的图形用户界面(GUI)的理念;充分利用三维图形学的多种图形绘制与渲染技术来完成虚体组件的设计;研究和实现了将虚体组件与真实场景进行准确配准的跟踪方法以达到真实世界与虚拟世界的无缝融合。其二,基于手势识别技术的三维用户界面。手势识别系统的跟踪部分将采用借助于标记物的视觉跟踪方法,避开了复杂的算法和昂贵的跟踪设备的要求;基于手势集的模板匹配识别方法对被识别的手势赋予具体语义并驱动实际应用。界面设计好后,构建出具体的应用实例,并对三维用户界面进行基于可用性原理的经验评估。结果表明,用户界面概念清楚、易用、虚拟信息表达方式多样化;手势交互部分能够实现无需中间媒体辅助的手势同实物的直接自然交互,体现了实物用户界面的基本思想,对提高用户界面的可用性起着重要作用。与原系统的用户界面相比,本文新开发的用户界面的交互效率得到较大程度的提高,用户的感知和认知一致性得到了较好的体现。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.2 用户界面技术的发展概述
• 1.2.1 命令语言用户界面
• 1.2.2 图形用户界面
• 1.2.3 多媒体用户界面
• 1.2.4 多通道用户界面
• 1.2.5 三维用户界面技术
• 1.3 可用性工程
• 1.4 前期相关工作
• 1.4.1 相关工作介绍
• 1.4.2 存在的问题
• 1.5 论文主要工作与论文结构
• 1.5.1 主要研究内容及关键技术
• 1.5.2 论文结构
• 第二章 AR 系统中三维用户界面的需求分析和系统设计
• 2.1 引言
• 2.2 用户界面设计中的基本活动
• 2.3 AR 系统三维用户界面的特征分析
• 2.3.1 三维性
• 2.3.2 虚实叠加性
• 2.3.3 交互实时性
• 2.3.4 虚实配准性
• 2.4 基于可用性工程的AR 系统中三维用户界面需求分析
• 2.4.1 AR 系统中三维用户界面的用户分析
• 2.4.2 AR 系统中三维用户界面的任务分析
• 2.4.3 基于任务分析的交互技术分析
• 2.4.4 AR 系统三维用户界面的界面元素设计
• 2.4.5 AR 系统三维用户界面的功能需求
• 2.4.6 AR 系统三维用户界面的非功能需求
• 2.5 AR 系统总体设计
• 2.5.1 AR 系统开发环境
• 2.5.2 AR 系统硬件结构
• 2.5.3 AR 系统功能组成及模块化设计
• 2.6 小结
• 第三章 基于GUI 的三维用户界面设计
• 3.1 引言
• 3.2 AR 系统的用户界面设计的支撑软件
• 3.3 基于GUI 的三维用户界面设计流程
• 3.4 基于GUI 的三维用户界面设计与实现
• 3.4.1 基本数学模型
• 3.4.2 视野全屏化设计
• 3.4.3 图形菜单设计
• 3.4.4 虚拟信息绘制
• 3.4.5 实现过程
• 3.5 小结
• 第四章 基于手势交互的三维用户界面设计
• 4.1 引言
• 4.2 手势交互技术的研究背景
• 4.2.1 手势交互技术研究现状
• 4.2.2 基于数据手套和基于视觉两种方法的比较
• 4.2.3 基于视觉的手势识别技术的一般流程
• 4.3 基于视觉的手势识别技术研究和实现
• 4.3.1 基于手势交互的三维用户界面的研究思路
• 4.3.2 手势的定义与分类
• 4.3.3 手势图像帧获取
• 4.3.4 手势图像预处理
• 4.3.5 手势建模
• 4.3.6 手势分析
• 4.3.7 手势识别与交互
• 4.4 小结
• 第五章 三维用户界面的可用性评估
• 5.1 引言
• 5.2 评估目标和方法
• 5.2.1 评估目标
• 5.2.2 评估方法
• 5.3 评估对象
• 5.4 评估过程
• 5.4.1 实验环境
• 5.4.2 测试过程
• 5.5 数据记录和分析
• 5.6 小结
• 第六章 论文总结与展望
• 6.1 论文总结
• 6.2 展望
• 致谢
• 参考文献
• 作者读硕期间发表的论文目录