双模态汉语情感语音合成的研究

论文摘要

以清晰自然的合成语音,准确生动地传达语义信息是新一代语音合成系统所追求的目标。双模态情感语音合成的主要任务是,通过建立虚拟人脸模型,使计算机在合成语音的同时生成富有情感表现力的视觉信息。双模态语音合成和语音识别是人机语音交互所需的两项关键技术,在信息处理领域有着重要的应用价值。本文的主要研究内容有三维人脸建模和渲染、三维动画驱动方法、汉语情感韵律特征建模和基于基音同步叠加算法的语音合成。人脸建模方面,完成了VRML模型解析和基于OpenGL的渲染。所用模型由7个人脸部件组成,共包含6435个顶点和12280个面。该模型在同类相关研究中复杂度较高,对人脸细节的刻画更为逼真。对比研究了参数控制和数据驱动两种三维动画驱动方法。通过改进控制参数的采集方式,解决了齿、舌、喉等器官的运动问题。在基于MPEG-4标准的FAP参数控制法中,采用径向基函数和升余弦函数控制唇动和表情变化。在基于关键帧插值的数据驱动法中,使用三次多项式插值法,对视素帧和表情帧进行空间矢量加权,生成融合后的动画帧。结果表明,FAP参数法可以实现细微的表情和唇形变化；数据驱动法通过融合多个关键帧可以快速产生新的表情种类。为提高合成语音自然度,准确表达情感信息,对基于波形拼接的语音合成系统进行了改进。在系统前端加入基于人工神经网络的韵律预测模型,后端加入基于PSOLA算法的韵律修改模型。合成阶段使用基于决策树和代价函数相结合的基元选择法。仿真结果显示,合成的语音感情色彩明显,经过韵律修改的语音基元在拼接后自然度较高。本文实现的双模态情感语音合成系统,在三维模型数据量较大的情况下满足了实时性动画的要求。合成的语音在听觉和视觉上都能准确的表达情感信息。

论文目录

• 摘要
• ABSTRACT
• 第1章 引言
• 1.1 双模态情感语音合成概述
• 1.2 国内外研究现状
• 1.2.1 可视化语音合成方法
• 1.2.2 情感语音合成方法
• 1.3 本文内容安排
• 第2章 三维几何人脸模型建立和渲染
• 2.1 人脸模型
• 2.2 VRML模型解析
• 2.2.1 VRML文件结构
• 2.2.2 VRML节点解析法
• 2.3 基于OpenGL的三维模型渲染
• 第3章 三维人脸动画驱动
• 3.1 参数控制法
• 3.1.1 MPEG-4人脸描述
• 3.1.2 MPEG-4人脸动画原理
• 3.1.3 汉语视素驱动
• 3.1.4 面部表情驱动
• 3.2 参数控制法实验结果
• 3.3 数据驱动法
• 3.3.1 关键帧插值
• 3.3.2 面部动作融合
• 3.4 数据驱动法实验结果
• 3.5 参数控制法和数据驱动法比较
• 第4章 情感语音韵律特征分析与建模
• 4.1 情感韵律特征分析
• 4.1.1 基元库建立
• 4.1.2 基元特征提取
• 4.2 情感韵律建模
• 4.2.1 基于人工神经网络的情感韵律模型
• 4.2.2 情感韵律模型的训练
• 4.2.3 韵律模型性能分析
• 第5章 汉语情感语音合成
• 5.1 基于决策树的基元选择
• 5.2 基音同步叠加算法
• 5.2.1 基音同步分析
• 5.2.2 韵律参数调整
• 5.3 实验结果和系统评价
• 第6章 结论
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文
• 学位论文评阅及答辩情况表