声音增强移动用户界面研究

论文摘要

移动设备的小型化使用户便于携带,但是其屏幕较小,加上移动环境下用户视觉注意相对分散,对移动设备用户界面的可用性造成了很大的影响。声音交互无需利用屏幕,在移动环境下无需长期占用视觉注意力,因此可以采取声音增强的方式开发移动用户界面,在移动交互的情境中提供附加的听觉反馈通道,充分发挥视觉通道和听觉通道的优势,增加信息传递的带宽,改进移动用户界面的可用性。和一般的移动用户界面相比,声音增强移动用户界面的研究无论是在交互技术还是设计开发上都没有形成完整的、系统的理论体系和公认的准则。目前大多数的工作关注于其交互技术本身的研究,而缺乏对人类自身听觉特点的利用和如何用声音来表征信息的挖掘。目前也没有针对这种用户界面的设计流程和指导原则。本文作者对声音增强移动用户界面的理论模型、设计、原型和实验等方面进行了研究。从交互设计理论的角度,作者提出了声音增强移动用户界面模型、设计流程和指导原则。从评估的角度,作者提出了声音增强移动菜单的可用性评估方法。从界面设计开发的角度,作者提出了听觉场景的描述方法和设计方法,设计实现了一个声音合成辅助工具。从应用实践的角度,作者应用声音增强移动用户界面设计流程和指导原则、听觉场景的描述方法及设计方法,设计了声音增强移动菜单,实现了其原型,并对其原型和视觉菜单原型进行了对比实验。针对声音增强移动用户界面的设计,作者提出了声音增强移动用户界面的设计流程,同时提出了一套在声音增强移动用户界面设计中创建有效传达信息且易于识别的声音设计的指导原则,可作为声音增强移动用户界面设计的参考。针对声音增强移动用户界面中声音部分的设计,在分析听觉场景中声音成分各种关系的基础上,作者提出了听觉场景的形式化描述方法,并举例说明了其应用,然后提出了相应的听觉场景的设计方法,并给出了创建听觉场景的可视化设计工具的设计思路和软件架构。采用声音增强移动用户界面设计流程和指导原则、听觉场景的描述方法及设计方法,作者设计了声音增强移动菜单,采用.Net在移动设备上实现了其原型。针对声音增强移动菜单的评估,作者提出了相应的可用性评估方法,该方法有助于较全面地评价声音增强移动菜单的可用性水平,为声音增强移动菜单研究、设计与应用提供评价的基础。参照声音增强移动菜单的可用性评估方法,作者利用声音增强移动菜单原型和视觉菜单原型进行了相关的应用实验,来对声音增强移动菜单和视觉移动菜单的可用性进行比较研究,通过定性和定量相结合的方法来获得对声音增强移动菜单可用性的认识。对比研究结果表明声音增强移动菜单界面具有更好的可用性,可以让用户显著减少任务完成时间,降低工作负荷和脑力负荷。实验发现有效利用声音增强移动菜单交互技术可以提高移动终端视觉菜单的可用性,而且声音增强移动用户界面设计流程和指导原则、听觉场景的描述方法及设计方法可以指导相应的设计工作。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 引言
• 1.2 本文的动机和所做的工作
• 1.3 移动用户界面
• 1.4 本文的组织
• 第2章 声音交互理论与应用研究
• 2.1 声音的基本概念
• 2.1.1 与声音用户界面相关的术语
• 2.1.2 听觉场景分析
• 2.2 声音的维度
• 2.3 人的听觉特性
• 2.3.1 听觉的特性
• 2.3.2 听觉感知与训练
• 2.4 声音交互研究的历史与现状
• 2.4.1 理论研究
• 2.4.2 应用研究
• 2.4.3 工具研究
• 2.5 声音在移动交互中的应用研究
• 第3章 声音增强移动用户界面模型
• 3.1 用户活动模型
• 3.2 设计活动模型
• 3.3 交互信息处理模型
• 3.4 可接受性模型
• 3.5 本章小结
• 第4章 声音增强移动用户界面设计
• 4.1 概述
• 4.2 分析阶段
• 4.2.1 用户分析
• 4.2.2 任务分析
• 4.2.3 使用环境分析
• 4.2.4 指导原则
• 4.3 设计阶段
• 4.3.1 快速呈现模式
• 4.3.2 交互呈现模式
• 4.3.3 指导原则
• 4.4 实现阶段
• 4.4.1 快速呈现模式
• 4.4.2 交互呈现模式
• 4.4.3 指导原则
• 4.5 本章小结
• 第5章 听觉场景的设计
• 5.1 听觉场景的描述方法
• 5.1.1 听觉场景中的声音
• 5.1.2 听觉场景中声音的各种关系
• 5.1.3 听觉场景的形式化描述方法
• 5.2 听觉场景的设计方法
• 5.2.1 点到点设计法
• 5.2.2 时序设计法
• 5.3 声音合成辅助工具
• 5.3.1 声音合成法
• 5.3.2 声音合成设备
• 5.3.3 声音合成辅助工具
• 第6章 声音增强移动菜单设计
• 6.1 分析阶段
• 6.2 设计阶段
• 6.2.1 菜单结构
• 6.2.2 菜单结构的声音设计
• 6.2.3 菜单项的声音设计
• 6.3 实现阶段
• 6.4 本章小结
• 第7章 声音增强移动菜单应用研究
• 7.1 声音增强移动菜单的可用性评估方法
• 7.2 实验
• 7.2.1 实验假设
• 7.2.2 实验系统
• 7.2.3 实验设置
• 7.2.4 实验任务与度量
• 7.2.5 实验过程
• 7.3 实验结果
• 7.3.1 视觉注意分散程度
• 7.3.2 任务完成时间
• 7.3.3 工作负荷
• 7.3.4 恼怒程度
• 7.3.5 整体喜好程度
• 7.3.6 错误数
• 7.3.7 步行速度
• 7.4 分析与讨论
• 7.4.1 视觉注意分散程度
• 7.4.2 声音的帮助作用
• 7.4.3 使用行为模式
• 7.4.4 讨论
• 7.5 本章小结
• 结论
• 参考文献
• 攻读学位期间发表学术论文情况
• 致谢