基于笔和语音的交互应用研究

论文摘要

随着穿戴和手持等便携设备的发展和流行，基于键盘和鼠标的传统交互方式逐渐不适宜作为这些移动计算设备的主要交互手段，而笔和语音以其紧凑和便携性非常适用于这些设备。随着普适计算(Ubiquitous computing)的发展，笔和语音逐渐成为人机交互技术的一个主要研究内容。 本文对语音用户界面的特点、国内外研究情况、发展趋势和设计要素进行了介绍。剖析了语音用户界面的优缺点以及适用的交互环境。在此基础上，提出了语音用户界面的交互模型以及界面隐喻；根据语音用户界面的设计要素实现了原型系统HomeDoctor，并对该系统进行了用户评估实验。 本文还对笔式用户界面的发展历史、软硬件环境、国内外相关研究及应用系统进行了较详细的介绍，讨论了笔式界面基于纸—笔的界面隐喻和以用户为中心的设计指导思想，提出了基于笔设备的交互、输入事件描述。论文将人们日常生活中的交流方式引入到与计算机的交互当中，设计并实现了基于笔输入设备的文档输入编辑系统SketchEditor，在SketchEditor环境中，用户使用单一的笔设备就可以完成文本输入、修改的全部任务。SketchEditor捕捉用户的输入笔迹和手势，并进行识别处理，完成相应的功能，既保持了传统工作方式的自然、高效，又利用了计算资源实现对信息的再加工处理。 本文设计并实现了能够同时记录笔画和语音信息的会议笔录系统ASN。在系统实现过程中，研究了手势识别、手写文字切分、基于上下文的交互处理等内容，并对基于手势交互的文本编辑系统进行了用户评估实验。本系统中文本输入采用了联机手写体自由格式输入，在对笔迹信息的处理过程中，利用了笔画的空间信息和笔画间的位置关系，并且还利用最小生成树(MST)综合考虑了全体待切分笔画间的位置关系，从全局的观点对笔画进行切分，取得了较好的汉字切分效果，为汉字的正确识别奠定了基础，而且切分算法的使用也保持

论文目录

• 目录
• 基于笔和语音的交互应用研究
• Research on pen and speech based HCI application
• 1 绪论
• 1.1 引言
• 1.2 人机界面的发展历史
• 1.2 笔和语音用户界面的研究现状
• 1.3 本文所作的工作
• 1.4 本文组织
• 2 语音用户界面及其应用研究
• 2.1 语音技术简介
• 2.1.1 语音识别技术（Speech Recognition）
• 2.1.2 语音合成技术（Speech Synthesis）
• 2.2 国内外研究现状
• 2.2.1 基于识别的应用
• 2.2.2 Speech-as-data
• 2.3 语音用户界面的特点分析
• 2.3.1 语音用户界面的优点
• 2.3.2 语音用户界面的缺点
• 2.3.3 语音用户界面与传统界面的对比分析
• 2.3.4 适宜和不适宜使用语音输入的情景
• 2.3.5 适宜和不适宜使用语音输出的情景
• 2.4 语音用户界面存在的问题及发展前景
• 2.5 本章小结
• 3 语音用户界面设计和实现
• 3.1 语音用户界面的心理模型
• 3.2 语音用户界面的模型与隐喻
• 3.2.1 语音用户界面的交互模型
• 3.2.2 语音用户界面隐喻
• 3.3 语音用户界面的特点
• 3.3.1 语音用户界面中人的因素
• 3.3.2 语音的自然性
• 3.4 原型系统 HomeDoctor的实现
• 3.5 语音用户界面设计中的关键问题
• 3.6 XML语法
• 3.7 系统实现及评估
• 3.7.1 系统结构
• 3.7.2 用户评估
• 3.8 本章小结
• 4 笔交互设备和应用介绍
• 4.1 笔交互设备的硬件介绍
• 4.2 桌面交互笔设备
• 4.3 手持计算设备
• 4.4 电子白板
• 4.5 室件（Room Ware）
• 4.6 本章小结
• 5 笔式交互技术研究
• 5.1 纸─笔的界面隐喻
• 5.2 笔式界面的输入分析
• 5.2.1 笔设备的输入事件描述
• 5.2.2 基于笔设计的交互任务描述
• 5.3 笔交互模型
• 5.3.1 笔交互中的基本数据─笔画
• 5.3.2 笔交互模型
• 5.4 笔输入相关技术
• 5.5 本章小结
• 6 基于手势的笔交互界面研究
• 6.1 交互任务描述
• 6.2 手势识别系统
• 6.2.1 特征选择
• 6.2.2 手势训练和识别
• 6.2.3 结合规则的手势识别
• 6.2.4 SketchEditor系统中手势定义
• 6.3 改进的 Rubin算法与原 Rubin算法的比较
• 6.4 SketchEditor系统结构及运行实例
• 6.5 用户评估实验
• 6.6 本章小结
• 7 ASN原型系统
• 7.1 相关研究
• 7.2 系统结构
• 7.3 笔迹分类
• 7.4 汉字切分
• 7.4.1 行切分
• 7.4.2 MST切分算法描述
• 7.4.3 切分实验
• 7.4.4 切分纠错
• 7.4.5 相关研究及比较
• 7.5 汉字识别及纠错
• 7.7 文档管理
• 7.8 笔迹和语音回放
• 7.9 笔交互的其他考虑
• 7.10 本章小结
• 总结
• 参考文献
• 就读博士期间发表论文目录
• 致谢