基于虚拟人技术的中国手语新闻播报系统

论文摘要

手语是一种可视化语言,它主要靠手及手臂的运动姿态辅以适当的表情和口型来表达语意,是聋哑人交流的重要途径。我国聋哑人口数量巨大。近年来,在我国政府和中国残联的领导下,我国的残疾人事业得到健康有序的发展。本文研究开发的基于虚拟人技术的中国手语新闻播报系统正是这样的一项最新科研技术。本系统将手语合成技术应用到播报、赛事解说、科普科教等媒体广播领域,实现了手语与语音的同步播报。对提高聋哑人的生活质量及中国标准手语的普及起到了积极的推动作用。本文的研究内容主要包括以下几个方面:虚拟人建模及人体运动控制技术:本文根据手语表达过程中手及手臂的运动特点的不同,建立了基于关节链结构的人体上肢抽象模型。在此基础上建立了基于关节角度的人体运动学方程,并对其进行了求解,从而实现了虚拟人手及手臂的关节角度向量到手语姿态的映射。最后,本文采用Hermite插值算法对关键帧进行插值计算,在实现关键帧之间的平滑过渡的同时对其运动速度加以控制,使手语表达过程更加逼真细腻。手语帧序列的优化技术:手语是一种基于人体运动姿态表达意思的特殊语言,其表意速度同基于声音的自然语言存在较大差距。为了使手语表达内容与电视节目中语音播报内容同步,针对手语表意速度较慢的特点,本文提出了以个手语帧之间的相对变化量为筛选依据的帧序列优化策略,并在根据手指关节运动过程中存在的约束关系,对原有的帧向量表示法进行了简化,给出了帧的相对变化量的计算方法。基本解决了手语新闻播报过程中手语与声音不同步的问题。基于虚拟人技术的中国手语新闻播报系统的实现:本文采用VRML标准实现对虚拟人的建模及运动控制,通过字幕流驱动虚拟人手及手臂的运动,实现手语的表达。并采用微软公司的Directshow平台对视频流进行处理,从而将虚拟人手语表达的动画实时添加到视频流中,最终实现了手语与语音的同步播报。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题背景及研究意义
• 1.1.1 课题背景
• 1.1.2 研究的意义
• 1.2 相关研究综述
• 1.2.1 国内在该方向的研究现状
• 1.2.2 虚拟现实技术综述
• 1.2.3 虚拟人建模及运动控制方法综述
• 1.3 本文主要研究内容
• 第2章 虚拟人手势建模
• 2.1 人体模型的建立
• 2.1.1 人体模型特点
• 2.1.2 人体模型的层次结构
• 2.1.3 人体模型坐标系的建立
• 2.1.4 VRML中虚拟人的表示方法
• 2.2 上肢模型的抽象表示
• 2.2.1 上肢模型的结构
• 2.2.2 上肢模型的运动约束
• 2.3 手势姿态的表示方法
• 2.3.1 手形的表示
• 2.3.2 手的方向的表示
• 2.3.3 手位置的表示
• 2.4 本章小结
• 第3章 虚拟人的运动控制技术
• 3.1 手及手臂运动约束
• 3.2 运动结构方程的构建及求解
• 3.2.1 对问题的描述
• 3.2.2 运动结构方程的建立
• 3.2.3 方程的求解
• 3.3 运动路径的控制
• 3.3.1 关键帧的描述
• 3.3.2 插值算法的选择
• 3.3.3 算法的评价
• 3.4 本章小结
• 第4章 帧的选取与优化
• 4.1 手语新闻播报过程中的同步问题
• 4.2 优化策略
• 4.2.1 优化单元的选择
• 4.2.2 帧的选择策略
• 4.3 帧的向量化表示
• 4.3.1 手语运动的向量化表示
• 4.3.2 手指关节的运动关联性
• 4.3.3 帧向量的简化
• 4.4 帧的权值计算
• 4.5 本章小结
• 第5章 系统实现与结果分析
• 5.1 基于虚拟人技术的中国手语新闻播报系统的实现
• 5.2 手语帧序列的生成
• 5.2.1 Vrml简介
• 5.2.2 基于手语库的文本切分
• 5.2.3 以句子为单位的帧序列
• 5.2.4 句子间的连接
• 5.2.5 帧序列的优化
• 5.3 视频合成
• 5.3.1 DirectShow简介
• 5.3.2 视频合成模块构建
• 5.3.3 SL Frame Generating Filter的实现
• 5.3.4 Video Overlay Filter的实现
• 5.4 本章小结
• 结论
• 参考文献
• 致谢
• 附录