联机结构化手写文档和手势设计

论文摘要

纸笔的工作方式，是人们早已熟悉的方式。人们通过纸笔捕捉和交流信息、记录思想是一个非常自然的活动。但是也存在一些缺点，如：信息难以修改、维护、检索等。这将导致用户某种程度的操作困难。基于计算机技术和纸笔隐喻的笔式用户界面在某种程度上解决了上述问题。当用户在手写屏上书写时，利用计算机技术实现了传统纸笔无法完成的功能性需求，同时改善了人们的工作方式，建立了一个更加和谐的人机交互环境。早期的笔式用户界面把工作集中在字符，图形识别上，而不是基于勾画。本文基于勾画的特征来讨论相关问题。保持笔迹的原形，不对其识别。但是计算机没有人的智能，为了达到修改、维护、检索的方便性，这就要求系统对这些手写文档笔迹结构化，使这些离散的笔迹变成有意义的结构化单元(具有字结构，行结构等特性)。结构化文档是手段不是目的，用户通过操作这些结构化单元来完成一定的任务。用户操作笔式用户界面是通过命令手势来完成的，什么样的手势更加符合用户的习惯，如何从笔迹中识别出命令手势是本文讨论的又一重点。文中从结构化手写文档、手势设计、手势识别三个方面进行了研究和改进。结构化手写文档方面，利用上下文和增量提取的思想来进一步结构化手写文档。通过增量提取结构化的信息，可以更多的使用上下文，这样使得结构化文档效率更高。手势设计方面，利用结构化手写文档的特点来设计出更加符合人们习惯的手势。如点击一行，就可以选择一行。手势识别方面，文中给出了一个多解释器，多层过滤的手势处理结构，利用上下文和多解释器的思想来进行隐式手势处理。隐式手势处理使用户不用显式的模式转换，这样用户能更加流畅的进行思维和操作。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 绪论
• 1.1 研究背景和意义
• 1.2 国内外现状
• 1.3 本文所做工作
• 1.4 论文的组织与结构
• 第二章 笔式用户界面
• 2.1 笔式用户界面的特点
• 2.2 笔式用户界面的交互环境
• 2.2.1 电子白板系统
• 2.2.2 手持移动设备
• 2.2.3 室件（RoomWare）
• 2.2.4 基于桌面的笔交互环境
• 2.2.5 移动的平板电脑（Tablet PC）
• 2.3 笔式用户界面的应用领域
• 2.3.1 创造性设计工作
• 2.3.2 信息交流和捕捉
• 2.3.3 思想捕捉
• 2.3.4 基于 GUI的笔交互增强
• 2.4 本章小节
• 第三章 相关技术
• 3.1 笔式用户界面下的模式识别技术
• 3.2 上下文感知技术
• 3.2.1 上下文感知模型
• 3.2.2 增量式意图提取
• 3.3 本章小节
• 第四章 联机结构化手写文档
• 4.1 结构化手写文档概述
• 4.1.1 结构化手写文档意义
• 4.2 结构化手写文档的难点
• 4.2.1 笔式界面的非精确性
• 4.2.2 手势的多样性
• 4.2.3 信息手势的多样性
• 4.2.4 字符结构的多样性
• 4.2.5 文档结构的多样性
• 4.3 联机结构化手写文档
• 4.3.1 生成笔划簇（stroke clustering）
• 4.3.2 文本行的提取（extracting text lines）
• 4.4 本章小节
• 第五章 基于结构化手写文档的手势设计与识别
• 5.1 手势交互概述
• 5.2 笔式交互信息处理模型
• 5.3 手势设计及设计原则
• 5.3.1 手势设计原则
• 5.3.2 手势设计
• 5.3.3 手势设计训练工具 GestureDesigner
• 5.4 手势识别
• 5.4.1 基于统计的手势识别
• 5.4.2 基于结构化文档上下文感知
• 5.4.3 基于多解释器，多层过滤的手势处理结构
• 5.5 本章小节
• 第六章 PIBG工具箱和原型系统实现
• 6.1 PIBG工具箱
• 6.1.1 PIBG范式
• 6.1.2 笔式交互任务生成框架
• 6.1.3 数据结构定义
• 6.2 系统总体框架
• 6.3 系统用户界面的实现
• 6.4 系统功能实现效果图
• 6.5 本章小节
• 第七章 结束语
• 7.1 本文研究的意义
• 7.2 存在的问题及进一步研究方向
• 参考文献
• 致谢
• 攻读学位期间发表的论文