虚拟环境中基于语义的三维交互技术研究及应用

论文摘要

虚拟现实正在成为一种新的计算手段,它在国防、科学研究、工程设计和制造业等许多重要领域有着广泛的应用前景。从交互的观点看,虚拟现实是一类新出现的三维用户界面(3D UI),与现有的二维WIMP界面有很大不同,面临着许多新的设计挑战和更复杂的可用性问题。现有的3D UI不是过于简易就是缺乏可用性,难以满足实际应用的需求。为此,必须对高可用的三维交互技术进行深入研究;从应用的角度看,缺乏自然、和谐的交互方式已成为制约虚拟现实进一步应用的“瓶颈”,将多通道交互与三维交互相结合,研究多通道三维交互技术已成为研究的热点。论文简要介绍和分析现有的三维交互技术,从设计层次的角度上进行总结;现有的面向通用任务的交互技术还缺乏对应用的支持力度,为此,论文基于场景语义和语义对象的概念,给出场景语义的定义,设计基于场景语义的三维交互技术,使用户通过与语义对象的基本交互实现复杂的应用;并通过具体应用(虚拟家居布局)验证场景语义理论的有效性。采用多通道三维交互是实现自然、和谐的虚拟现实系统的有效途径,因此,论文从多通道输入的角度,给出交互语义的定义,借鉴已有的任务语法分析的理论,提出新的分层整合算法,实现多通道的信息融合;设计基于交互语义的三维交互技术:并通过具体应用(虚拟城市规划)验证交互语义理论的有效性。本文工作中的主要创新可以归纳为以下三点:1.从面向应用的角度,给出场景语义的定义,基于场景语义和语义对象的概念,使用户通过与语义对象的基本交互实现复杂的应用。提出场景语义的设计策略,设计和实现了基于场景语义的三维交互技术。2.从多通道输入的角度,给出交互语义的定义,提出相应的整合算法,实现多通道的信息融合,提出基于时间约束的交互语义整合机制。3.基于场景语义和交互语义设计自然、高效的双手交互技术和多通道交互技术,包括无缝微缩模型技术、动态成组技术、多对象快速选取技术、形状区域对象排列技术。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.2 研究背景
• 1.2.1 用户界面的发展历程
• 1.2.2 三维用户界面和三维交互技术
• 1.2.3 国内外相关工作和研究现状
• 1.3 研究动机和主要工作
• 1.3.1 研究动机
• 1.3.2 主要工作和贡献
• 1.4 论文组织结构
• 第二章 三维交互技术综述
• 2.1 三维交互技术分类
• 2.2 通用三维交互技术
• 2.2.1 漫游技术
• 2.2.2 选择/操纵技术
• 2.2.3 系统控制技术
• 2.3 双手三维交互技术
• 2.3.1 双手交互的理论基础
• 2.3.2 双手交互的时间特征
• 2.3.3 双手三维交互技术分析
• 2.4 多通道三维交互技术
• 2.4.1 多通道交互的定义和优势
• 2.4.2 多通道三维交互的支撑技术
• 2.4.3 多通道信息融合
• 2.4.4 多通道三维交互技术简介
• 2.5 设计层次的总结
• 2.6 本章小结
• 第三章 基于场景语义的三维交互技术研究
• 3.1 交互意图感知的认知心理学基础
• 3.2 场景语义的定义与描述
• 3.3 语义对象
• 3.3.1 支持应用的语义对象结构
• 3.3.2 基于对象语义解析的交互流程
• 3.4 基于场景语义的三维交互技术
• 3.4.1 场景语义的设计策略
• 3.4.2 基于供给语义的三维交互技术
• 3.4.3 基于约束语义的三维交互技术
• 3.5 本章小结
• 第四章 基于场景语义的双手三维交互技术应用
• 4.1 应用背景与交互环境
• 4.2 约束语义的设计与实现
• 4.2.1 父子约束机制
• 4.2.2 兄弟约束机制
• 4.2.3 约束关系的生成与反馈
• 4.3 基于约束语义的动态成组技术
• 4.4 双手交互技术的设计与实现
• 4.4.1 三维输入和二维输入的双手协同
• 4.4.2 无缝微缩模型技术
• 4.4.3 遥取技术
• 4.5 基于场景语义的双手交互技术评估
• 4.6 本章小结
• 第五章 基于交互语义的多通道三维交互技术研究
• 5.1 多通道输入中的交互语义定义
• 5.2 基于交互语义的多通道输入感知分析
• 5.2.1 交互语义的分层提取
• 5.2.2 交互语义的分层整合算法
• 5.2.3 基于交互语义的输入感知的优势
• 5.3 基于交互语义的多通道输入设计策略
• 5.4 多通道三维交互技术中的交互语义整合
• 5.4.1 通用三维交互技术中的交互语义整合
• 5.4.2 复杂三维交互技术中的交互语义整合
• 5.5 本章小结
• 第六章 基于交互语义的多通道三维交互技术应用
• 6.1 应用背景
• 6.2 多通道交互环境
• 6.3 基于交互语义的多通道输入感知
• 6.3.1 多通道信息输入
• 6.3.2 基于交互语义的多通道整合框架
• 6.3.3 基于时间约束的交互语义整合机制
• 6.4 多通道三维交互技术的设计与实现
• 6.4.1 基于多种交互隐喻的个人交互面板
• 6.4.2 3D环境中的2D GUI元素
• 6.4.3 基于交互语义的通用交互技术
• 6.4.4 基于交互语义的复杂交互技术
• 6.5 交互语义与场景语义的结合示例
• 6.6 多通道交互技术评估
• 6.7 本章小结
• 第七章 结论与展望
• 7.1 论文工作总结
• 7.2 进一步工作的讨论
• 参考文献
• 在读期间发表的学术论文与取得的研究成果
• 在读期间参加研究的课题项目
• 致谢