情感语音合成

论文摘要

语音是最理想的人机交互方式之一，而语音合成技术则是实现语音人机交互的基础。从第一个电子语音合成器问世以来，随着各种新技术手段的应用，特别是近年来随着基于基音同步叠加、结合大规模自然语音库和数据挖掘等智能算法的语音合成方法的流行，语音合成技术在可懂度和自然度上达到了相当的水平，并且开始产业化，逐渐进入人们的日常生活。语音合成技术的推广应用，对语音合成的质量提出了更高的要求。如何进一步提高语音合成的表现力，特别是让合成语音能够模拟表达说话人的情感状态，是语音合成未来发展的趋势，也是语音合成研究领域所面临的一个难题。情感语音合成是一个跨学科的、具有很高理论价值和应用价值的研究课题；作为语音合成的一个新的研究方向，正受到众多研究者越来越多的关注。 本文以情感语音的基频特征为主要研究对象，以合成情感语音为主要研究目标，对基于基频特征的情感语音建模以及情感语调规则指导下的情感语音合成器设计等问题进行了较深入的研究。在此基础上，构建了一个语音合成系统，该系统除了可以验证本文提出的模型方法外，还可以作为语音处理相关研究的实验平台，为以后的研究工作创造良好的实验条件。 本文的主要创新点如下： (1)从情感语音处理的需求出发，通过对Fujisaki基频模型进行改进，提出了一种对情感语音基频进行建模的方法。该方法首先利用高通滤波器分离出基频曲线中的低频成分和高频成分，再分别从低频成分和高频成分中提取模型的短语命令参数和声调命令参数。提取命令参数时根据命令响应函数的特性，设计了从左往右、依次迭代提取的方法。该模型方法能够将基频曲线根据明确语音学含义进行参数化，并且模型参数分布与情感模式有一定的对应关系。同已有的同类研究相比较，本文所提出的基频模型能够反映语音的情感特征，所给出的模型参数提取方法简洁、有效，不需要任何手工标注。 (2)提出了一种数据驱动的语调模型方法，建立了特征语调的概念，并将相关的概念和方法用于分析普通话中情感模式对应的情感模式语调。在限定语料长度、结构以及说话人的前提下，采用主成分分析方法获取6个特征语调，借助这6个特征语调表示所有的语调。实验表明，本文提出的特征语调能够在可以接受的误差范围内拟合出所有语调，并且使用特征语调分析出的情感模式语调具有相当的情感表达能力。另外，本文还对采用特征语调表达混合情感模式的相关问题

论文目录

• 摘要
• Abstract
• 目录
• 插图目录
• 表格目录
• 第1章 绪论
• 1.1 引言
• 1.2 研究背景和意义
• 1.2.1 情感语音合成的研究背景
• 1.2.2 情感语音合成的应用
• 1.3 情感语音合成
• 1.3.1 语音合成
• 1.3.2 情感计算
• 1.3.3 情感语音合成
• 1.4 本文的研究内容和论文结构
• 第2章 情感语音
• 2.1 情感因素
• 2.1.1 情感的定义
• 2.1.2 情感的交流
• 2.2 情感的分类
• 2.2.1 基本情感与派生情感
• 2.2.2 三级分类模型
• 2.2.3 Activation-Evaluation 二维空间
• 2.2.4 情感轮
• 2.3 情感语音
• 2.3.1 影响语音情感的因素[陶建华等 2003b]
• 2.3.2 语音的情感特征
• 2.4 情感语音的声学特征
• 2.4.1 情感语音的韵律特征
• 2.4.2 情感语音的频谱参数
• 2.4.3 和上下文关系方面
• 2.5 本章小结
• 第3章 情感语音基频模型
• 3.1 韵律模型的完善
• 3.1.1 基频模型
• 3.1.2 时长模型
• 3.1.3 韵律参数的交互作用
• 3.1.4 韵律模型发展方向
• 3.2 基频模型
• 3.2.1 模型研究现状
• 3.2.2 Fujisaki模型
• 3.2.3 改进模型适应情感语音[Su and Whng 2005]
• 3.3 基频的提取
• 3.3.1 基频提取的难点
• 3.3.2 算法研究现状
• 3.3.3 方法选择
• 3.4 改进的基频提取算法
• 3.4.1 自相关法
• 3.4.2 算法改进
• 3.5 改进基频模型的参数提取
• 3.5.1 普通话 Fujisaki模型参数提取已有算法
• 3.5.2 改进模型的参数提取[su and Wang 2005]
• 3.5.3 实验结果及分析
• 3.6 本章小结
• 第4章 情感语调模型方法研究
• 4.1 引言
• 4.1.1 情感语音特征研究
• 4.1.2 普通话的音高研究
• 4.1.3 语调研究
• 4.1.4 本文的情感语调
• 4.2 语音库的设计
• 4.2.1 情感语音库分类
• 4.2.2 代表性情感语音库
• 4.2.3 情感语音库的建立
• 4.3 特征语调方法
• 4.3.1 特征语调的概念
• 4.3.2 语调提取算法
• 4.3.3 语调的主成分分析
• 4.3.4 重构分析
• 4.4 情感语调模型
• 4.4.1 模型特点
• 4.4.2 计算方法
• 4.5 实验与讨论
• 4.5.1 特征语调分析
• 4.5.2 情感语调分析
• 4.5.3 复杂情感模式语调分析
• 4.5.4 合成结果
• 4.6 本章小节
• 第5章 语音合成系统
• 5.1 应用背景
• 5.2 情感语音合成器的现状
• 5.2.1 基于规则的合成器
• 5.2.2 基于波形拼接音库切换的合成器
• 5.2.3 基于波形拼接韵律模型的合成器
• 5.3 语音合成器的设计
• 5.3.1 基于线性预测的合成算法
• 5.4 情感语音合成算法流程
• 5.4.1 预处理
• 5.4.2 LPC分析以及逆滤波
• 5.4.3 基于反射系数和距离能量的清浊音分段
• 5.4.4 自适应模板法确定声门闭合时刻
• 5.4.5 语调修改
• 5.4.6 重建声门闭合时刻
• 5.4.7 LPC滤波合成语音
• 5.5 语音合成系统
• 5.5.1 系统流程图
• 5.5.2 系统的功能模块
• 5.5.3 演示以及实验结果
• 5.6 本章小节
• 第6章 总结与展望
• 6.1 论文总结
• 6.2 工作展望
• 参考文献
• 致谢
• 发表的学术论文