手语合成系统中词库构建的方法

论文摘要

手语是一种手势动作语言,通过手的运动并附以适当的表情或姿势来表达意思,主要用于聋哑人之间的交流。随着社会信息化的不断提高,聋哑人也迫切需要更多的信息,来不断地改善或丰富自己的生活。虽然我国从1956年起就开始推行统一版手语,但目前中国版手语的推广程度还是不够。所以,建立中国手语标准词库,将信息通过聋哑人所熟识的手语来表达出来,方便聋哑人的生活,使他们更好的融入信息化社会,成为当前亟待解决的一个问题。使用计算机技术表达手语,就是要使用动画描述这些动作。本文主要做了以下工作:人体运动分析及虚拟人建模:分析人体上肢关节的运动,研究了虚拟人建模的方法及两种国际标准MPEG-4和H-Anim,选用后者对虚拟人进行描述并简化了其建模的方法。手语词关键帧编辑技术:根据手和手臂的运动特点的不同,对手和手臂的运动原理分别进行了深入研究。针对手指,总结了HamNoSys 4.0表示法中手指的所有姿态类型,通过计算并预先存储手指各个关节的旋转角度值,简化了编辑难度,提高了编辑效率;针对手臂,在分析了逆向运动学算法在虚拟人上的不足后,提出了改进的逆向运动学算法,并使用正向运动学算法进行辅助,以更好的适应手臂姿态编辑的要求。实现了手语词关键帧编辑模块。通过此模块,手语词编辑者可以高效准确的编辑手语词关键帧。虚拟人动画生成技术:分析比较了一些插值算法,对手指和手臂上不同自由度的关节使用了不同的插值算法。其中对单自由度和双自由度关节使用了Hermite插值方法,并对算法进行了分析和评价;对三自由度关节使用了四元数的线性插值算法。在这些算法的基础上,实现了虚拟人动画生成模块。通过此模块,手语词编辑者可方便快捷地观看虚拟人打出的手语词动画。通过与其它方法构建的手语词库的比较得出以下结论:本文实现的手语词库构建系统建立的手语词库所需要的存储容量小于其它系统,显示速度与其它系统相当,可移植性和扩展性优于其他系统。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 课题的背景
• 1.2 课题的意义
• 1.3 课题的来源
• 1.4 国内外相关领域的发展现状
• 1.5 现在词库构建方法的优点及不足
• 1.6 本文研究的主要内容
• 第2章 人体运动分析及虚拟人建模
• 2.1 人体上肢关节运动分析
• 2.1.1 上肢主要关节运动分析
• 2.1.2 上肢关节层次化及关节链结构分析
• 2.2 虚拟人建模
• 2.2.1 人体的几何表示方法
• 2.2.2 两种国际标准
• 2.2.3 H-Anim虚拟人模型标准
• 2.3 虚拟人模型运用及简化
• 2.4 本章小结
• 第3章 手语词关键帧编辑的设计
• 3.1 虚拟人的初始状态
• 3.2 手部编辑的设计
• 3.2.1 HamNoSys 表示法
• 3.2.2 手部编辑的实现
• 3.3 手臂编辑的设计
• 3.3.1 改进逆向运动学算法的应用
• 3.3.2 正向运动学算法的应用
• 3.4 本章小结
• 第4章 手语词动画合成的设计
• 4.1 单自由度关节插值
• 4.2 插值方法选取
• 4.3 插值方法评价
• 4.4 多自由度关节插值
• 4.4.1 双自由度椭圆关节插值
• 4.4.2 肘关节插值
• 4.4.3 三自由度关节插值
• 4.5 本章小结
• 第5章 系统实现与结果分析
• 5.1 手语词库构建系统的实现
• 5.1.1 系统结构图
• 5.1.2 手语词编辑模块的实现
• 5.2 系统结果分析
• 5.2.1 存储容量
• 5.2.2 演示速度
• 5.2.3 可扩展性
• 5.3 本章小结
• 结论
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢
• 附录