基于手势数据分析的地方手语的合成研究

论文摘要

手语是聋哑人群体用来交流、学习的主要手段。许多国家和地区都将手语作为一门语言学来研究,并且取得了一定的成果。在计算机领域,研究者们根据手语语言学者的研究成果,将手语表达移植到计算机界面上来,实现人机交互,为聋哑人提供了更加方便可靠的学习工作环境,让他们更好地参与到社会活动中来。手语动画合成系统正是基于上述的意愿而产生的。目前中国手语动画合成系统日趋完善,可以为健听人士和聋哑人群体提供一种具备信息化的方便快捷的学习交流途径。2008年奥运会、2010年世博会上中国手语动画合成系统的成功展出及使用,进一步表明了中国全民共同参与国家盛事、实现社会和谐的美好愿望。然而中国手语只是中国标准手语的简称,由于受历史、宗教、文化等因素的影响,中国的不同地区存在地方手语,这些地方手语与中国标准手语之间存在区别和联系,而且地方手语的重要性不容忽略,它作为一种语言文化长期广泛地影响着地方聋哑人群体的生活。因此要实现各种地区之间的聋哑人群体的交流,地方手语合成系统将是一个很好的选择。本文首先对中国手语动画系统中的虚拟人角色动作缺乏真实感的问题进行改进。根据手语语言学的研究得知人的手势动作是由不同的元素组成,在中国手语动画系统平台的基础上,将手势数据进一步分解,得到更小的具有相似运动状态的运动单元,再进一步地加以利用。本文首先使手势数据中的肩、腕、肘关节数据与手形的手指关节数据分离,将数据帧中的手形数据采用动态规划分段,得到若干基本运动单元,使得每个运动单元中的手形状态相似。然后将这些运动单元进行时间规整以及动态聚类,得到具有时序信息的手形类,再进一步将这些手形类数据合成新的手势数据。最后本文就地方手语中的上海手语,分析了该手语与中国标准手语的异同,通过上述方法合成新的上海手语手势数据,更新原来中国手语数据库,得到地方手语手势数据库,可以通过相同的手语动画系统输出上海手语手势。

论文目录

• 摘要
• Abstract
• 第一章 引言
• 1.1 课题的研究背景和意义
• 1.2 现代手语动画合成系统的开发与研究
• 1.3 手语合成系统的关键技术
• 1.4 主要研究内容
• 第二章 手语的语言学研究
• 2.1 引言
• 2.2 手语与手语语言学
• 2.3 地方手语的研究和意义
• 2.4 上海手语的研究
• 2.5 小结
• 第三章 基于四元数的手势动作平滑改进
• 3.1 引言
• 3.2 关键帧插值算法
• 3.3 相关概念
• 3.3.1 手势数据特点
• 3.3.2 四元数及其相关计算
• 3.4 基于四元数的手腕动作平滑
• 3.4.1 肘、腕关节转动特点
• 3.4.2 腕关节的四元数插值
• 3.5 基于手臂旋转角度差距的插值算法
• 3.6 实验结果
• 3.6.1 腕关节四元数插值的实验结果
• 3.6.2 基于手臂旋转角度差距的插值算法实验结果
• 3.7 小结
• 第四章 地方手语合成方法的研究
• 4.1 引言
• 4.2 中国手语手形数据的聚类
• 4.2.1 手势数据的分析
• 4.2.2 手形数据的分段
• 4.2.3 手形分段实验结果
• 4.2.4 基于手形数据分段的DTW 算法
• 4.2.5 基于手形数据分段的ISODATA 聚类算法
• 4.3 手臂状态的分类
• 4.4 基于手形和手臂状态结合的上海手语合成
• 4.5 上海手语手势数据库的建立
• 4.6 基于中国手语手势数据的地方手语合成系统构成
• 4.7 结论和进一步研究
• 第五章 结论
• 5.1 总结
• 5.2 展望
• 参考文献
• 致谢
• 附录A（攻读硕士学位期间参与的科研项目和研究成果）