高表现力语音声学建模的研究

论文摘要

语音作为语言的声音表现形式,是人类交流信息最自然、最有效、最方便的手段。人类的语音中不仅包含了语言学信息,同时也包含了人们的感情和情绪等非言语信息。因此,富有表现力的语音合成也日益成为语音合成研究领域的一个热点,兼具理论意义和应用价值。本文录制了中性和10种情感语音数据,采用PAD三维情感模型进行了表现力标注,使用TBL算法实现了韵律结构的预测,利用五度字调模型对音节的基频曲线建模,在此基础上,采用广义回归神经网络(GRNN)建立了中性语音到其它情感语音转换的韵律预测模型,实现了由中性语音向情感语音的转换。论文的主要创新点和工作如下:1.提出了简化的PAD量表,用来标注语音的表现力。实验结果表明,对语音表现力进行标注与评测时,简化的PAD量表能够节省标注时间,提高标注结果的一致性。2.提出了一种新的韵律结构预测特征。根据语法结构和韵律短语之间的关系,将语法树的高度作为预测特征,利用TBL算法实现了韵律短语的预测。3.建立了情感语音音节的五度字调模型。对每种情感语音的音节,利用多项式回归获得五度字调模型参数,对比分析了中性语音和情感语音的语音差别。4.提出了一种基于广义回归神经网络(GRNN)的表现力语音声学特征的建模方法,实现了中性语音到情感语音的转换。该建模方法利用情感语音的情感标注PAD值和语境参数作为输入参数,以情感语音的声学特征作为输出参数。建立的模型能够根据文本的语境参数和情感标注PAD值预测情感语音的声学特征,利用STRAIGHT算法修改中性语音的声学特征,从而获得转换的情感语音。情感主观平均评分(EMOS)实验结果表明,利用这种方法变换出的10种情感语音,其平均EMOS得分为4.0,能够表现出复杂的情感。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 研究背景
• 1.2 语音的表现
• 1.2.1 范畴描述法
• 1.2.2 维度描述法
• 1.3 研究意义
• 1.4 论文主要内容与结构安排
• 第2章 基础知识介绍
• 2.1 文语转换系统（TTS）简介
• 2.1.1 TTS 的基本概念
• 2.1.2 TTS 的基本原理
• 2.1.3 TTS 的基本方法介绍
• 2.2 语音的表现
• 2.3 PAD 三维情感模型以及表现力标注
• 2.4 本章小结
• 第3章 实验语料的设计与录制
• 3.1 实验语料设计
• 3.1.1 文本设计
• 3.1.2 文本录音
• 3.2 数据处理
• 3.2.1 音段标注
• 3.2.2 韵律标注
• 3.2.3 标注工具Visual Speech
• 3.3 本章小结
• 第4章 表现力标注以及韵律结构预测
• 4.1 表现力标注
• 4.2 韵律结构预测
• 4.2.1 韵律层级结构和语法结构的分析
• 4.2.2 邻接度
• 4.2.3 基于邻接度的语法结构和韵律结构关系的统计分析
• 4.2.4 韵律短语预测
• 4.2.5 结果分析
• 4.3 本章小结
• 第5章 情感语音基频建模
• 5.1 基频曲线建模
• 5.2 基频归一化
• 5.3 模型参数计算与分析
• 5.4 本章小结
• 第6章 基于 GRNN 的情感语音转换
• 6.1 广义回归神经网络（GRNN）
• 6.2 情感语音转换模型的建立
• 6.2.1 GRNN 的输入、输出参数
• 6.2.2 模型训练与预测
• 6.3 转换结果的主观评测
• 6.4 本章小结
• 第7章 总结与展望
• 参考文献
• 攻读硕士学位期间的科研成果
• 致谢