笔式聋儿多媒体讲课系统的设计与实现

论文摘要

随着计算机应用领域的不断拓展,教育领域首当其冲,尤其对于聋儿教育领域,借助先进的计算机多媒体工具进行教学,实现传统媒体与电教媒体的有机结合,可以更好地利用聋幼儿的残余听力,达到优化聋幼儿语言康复训练的目的。多种媒体在聋儿教师的经验指导下有机的整合,在聋儿的康复过程中具有重要的作用,通过一个完整的课件可以使聋儿了解周围世界、认识自我、并融入文化。传统的鼠标、键盘的交互方式并不适合老师们上课时使用,并且两者的切换很不自然。笔手势交互是近年来迅速发展起来的一种人机交互技术,它适应了“以人为中心”的自然交互准则,也被诸多研究证明是提高交互效率和自然性的有效途径。随着人机交互户界面的不断发展,笔手势交互技术已经在一些面向儿童教育的交互系统中得到了应用。本文主要在面向聋儿的讲课系统与基于笔的单笔手势的结合方面研究了一些新的设计和解决方法,设计并实现了基于笔的多媒体聋儿讲课系统,采用笔手势交互的自然交互方式,增强老师在课堂上对课堂的把握能力,运用他们已有的经验,充分发挥了他们的想象力和创造力,吸引聋儿的注意力,进一步提高聋儿的听力康复速度。本文的主要研究内容如下:1、深入分析了目前国内外手势识别技术,以及多媒体教学的进展和现状,比较和研究了大量多媒体教学系统的优劣点和适用范围,提出了普遍的交互体验不足的问题,提出了新的基于笔手势的多媒体教学方法。2、将多种媒体应用于教学过程中,提出了将传统的基于鼠标、按钮的音视频编辑交互与笔手势交互相结合的方式,给用户提供了新的交互途径,用简单的勾画就可以准确地进行所需的操作,简化了备课和授课过程中的繁复操作,使教师将更多的精力关注于教学质量。3、提出了视频编辑的预览选择再定位方法,摒弃了精确定位复杂操作,简化了交互难度。不但满足了教师的需求,达到了反复选择再相对精确定位的目的,还简化了操作难度。4、在前面几项工作的基础上,设计并实现了面向聋儿的多媒体讲课系统及相关工具。该系统以手势作为主要的交互方式,通过自然、和谐的笔式用户界面,将讲课和素材的制作过程变得非常简单、有趣,极大地提高了用户的交互体验。

论文目录

• 摘要
• ABSTRACT
• 目录
• 第一章 绪论
• 1.1 引言
• 1.2 研究背景和意义
• 1.2.1 笔式用户界面技术的发展
• 1.2.2 聋儿认知规律
• 1.2.3 手势的分析与理解技术
• 1.2.4 存在的问题
• 1.2.5 聋儿康复笔式多媒体教学系统的重要性
• 1.3 课题的来源与意义
• 1.3.1 课题来源
• 1.3.2 课题意义
• 1.4 论文的研究内容及组织结构
• 1.4.1 论文研究内容
• 1.4.2 主要工作
• 1.4.3 论文组织结构
• 1.5 小结
• 第二章 国内外相关研究分析
• 2.1 概述
• 2.2 聋儿教育软件的相关研究
• 2.3 手势识别算法的相关研究
• 2.5 小结
• 第三章 手势识别与设计
• 3.1 概述
• 3.2 笔手势特征提取及训练
• 3.2.1 手势特征提取算法
• 3.2.2 手势训练算法
• 3.3 笔手势识别算法分析
• 3.4 笔手势设计
• 3.4.1 文本编辑手势
• 3.4.2 音频编辑手势
• 3.4.3 视频编辑手势
• 3.5 小结
• 第四章 多媒体讲课系统的总体框架及原型设计
• 4.1 概述
• 4.2 需求分析
• 4.3 总体框架
• 4.4 功能模块设计
• 4.5 音视频编辑工具的设计
• 4.5.1 总体描述
• 4.5.2 音频编辑工具的设计
• 4.5.3 视频编辑工具的设计
• 4.6 绘图工具的设计
• 4.7 小结
• 第五章 多媒体讲课系统的实现
• 5.1 概述
• 5.2 系统开发和运行环境
• 5.2.1 硬件环境要求
• 5.2.2 软件环境要求
• 5.3 系统实现
• 5.3.1 系统界面
• 5.3.2 音频编辑工具
• 5.3.3 视频编辑工具
• 5.3.4 绘图工具
• 5.4 小结
• 第六章 多媒体讲课系统的可用性评估
• 6.1 概述
• 6.2 可用性评估方法
• 6.3 基于界面场景的评估方法
• 6.4 评估实验及实验过程
• 6.4.1 实验设计
• 6.4.2 文档准备
• 6.4.3 实验过程
• 6.5 评估数据及分析
• 6.5.1 客观数据分析
• 6.5.2 问卷数据分析
• 6.6 小结
• 第七章 结论与展望
• 7.1 本文工作总结
• 7.2 下一步工作展望
• 参考文献
• 攻读硕士学位期间发表论文目录
• 参加研究的课题项目
• 致谢