普通话语音情感识别关键技术研究

论文摘要

自然人机交互技术是当前计算机应用技术研究的重要方向。语音识别是实现人机交互的重要途径，而语音的情感识别对于实现人机的自然交互更是至关重要。近年来随着心理学、生理学、神经科学和计算机技术及与之相关的模式识别技术的发展，情感计算，特别是语音的情感识别研究，作为计算机科学的一个重要领域在理论和应用上都取得了长足进步。在情感的定义与分类、情感关联的声学特征及相关的分类模型研究上提出了不同的技术和方法，发展了多个语种的情感识别研究，初步建立起语音情感识别的框架体系。但随着人们对语音情感识别的要求越来越高，各种情感识别方面的应用需求提上日程，目前现有的技术与方法已经不能满足需求，特别是汉语普通话语音情感识别的研究相对较少，这就需要我们加快工作步伐，填补这方面的空白。 普通话语音的情感识别技术目前主要面临四大关键技术问题：普通话语音情感语料库问题，亟待建立一个在数量、质量、管理和多样性等方面满足研究要求的普通话情感语音库；情感的声学关联特征问题，寻求一组抗干扰能力强，与情感状态紧密相关的声学特征向量；小样本问题，减少由于说话人和文本差异带来的对情感声学特征的干扰，减小情感特征的类内距离，提高情感识别率；特征向量的高维问题，经过特征选择或降维，选出最具有情感区别力的声学特征，提高分类器泛化能力。 本文以下一代自然人机交互为应用背景，系统分析研究了语音情感识别，特别是普通话语音情感识别的特点及存在的问题；在建立一个扩展性与应用能力良好的普通话情感语音数据库基础上，提出以特征选择、相对特征和情感焦点为核心的新的语音情感识别技术。本文的主要研究内容概括如下： (1)普通话情感语音数据库。由于普通话情感语音研究刚刚起步，有关建立普通话情感语音数据库的技术、经验和方法都较少。为了研究的需要，本文建立了一个普通话情感语音数据库，用录音法和剪辑法共采集1376句情感语音，分愤怒、害怕、高兴、中性和悲伤5个情感类别。数据库还存储了各情感语音的基频、能量、时长和共振峰等韵律学及音质相关的声学特征。 (2)声学特征分析与选择。情感的声学关联特征是语音情感识别的关键之一。本文在普通话情感语音数据库的基础上，分析韵律学特征和共振峰特征在不同情感状态下的静态规律，以及在情感状态转变时的动态规律。同时，进行特征选择和大规模的统计实验，确定了特征向量在情感识别领域各种情况下的最优配置。 (3)模式分类器研究。在对现有语音情感识别领域常用分类器进行分析的基础上，本文选择神经网络为主要分类器，详细探讨了它的原理、结构，及其在普

论文目录

• 目录
• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 情感的定义
• 1.2 情感计算
• 1.2.1 人类的情感表达
• 1.2.2 情感信号的感知
• 1.2.3 情感建模
• 1.3 语音情感识别
• 1.3.1 国外相关研究
• 1.3.2 国内相关研究
• 1.4 语音情感识别相关研究进展
• 1.5 语音情感识别关键技术问题
• 1.5.1 语音的情感语料问题
• 1.5.2 情感的声学关联特征问题
• 1.5.3 小样本问题
• 1.5.4 特征向量的高维问题
• 1.6 本文研究内容、结果及创新点
• 第二章 普通话情感语音数据库
• 2.1 情感数据库概述
• 2.2 情感语音数据的分类
• 2.2.1 自然型情感语音
• 2.2.2 表演型情感语音
• 2.2.3 引导型情感语音
• 2.3 普通话情感语音的获取
• 2.3.1 录音法
• 2.3.2 剪辑法
• 2.4 声学特征的提取与计算
• 2.5 情感语音的组织与存储
• 2.6 小结
• 第三章 普通话语音情感表达
• 3.1 语音情感表达概述
• 3.2 普通话语音情感表达的韵律学特征
• 3.2.1 基频相关
• 3.2.2 能量相关
• 3.2.3 时长相关
• 3.2.4 韵律特征的相对变化
• 3.3 普通话语音情感表达的音质特征
• 3.4 小结
• 第四章 语音情感识别中的分类器
• 4.1 语音情感识别中的分类器概述
• 4.2 普通话语音情感识别中的分类器和模型
• 4.2.1 神经网络
• 4.2.2 线性判别分析
• 4.2.3 K-近邻法
• 4.2.4 支持向量机
• 4.3 基于神经网络的语音情感识别
• 4.3.1 神经网络概述
• 4.3.2 两种网络拓扑结构
• 4.3.3 性能测试与评价
• 4.4 小结
• 第五章 语音情感识别中的特征选择
• 5.1 特征选择及常用方法概述
• 5.1.1 序列前向选择SFS
• 5.1.2 序列后向选择SBS
• 5.1.3 优先选择PFS
• 5.2 语音情感识别中特征选择概述
• 5.3 逐步判别方法
• 5.4 普通话语音情感识别的特征选择实验
• 5.4.1 实验过程与目的
• 5.4.2 特征的重要程度排名
• 5.4.3 特征选择方法及特征个数对识别率的影响
• 5.4.4 特征选择和说话人以及和训练样本数量的相关性
• 5.4.5 分析与讨论
• 5.5 小结
• 第六章 用相对特征提高语音情感识别率
• 6.1 语音情感的感知特性
• 6.2 语音情感的绝对与相对识别
• 6.3 用相对特征提高语音情感识别率
• 6.3.1 实验过程与方法
• 6.3.2 实验结果与分析
• 6.4 小结
• 第七章 基于语段的语音情感识别
• 7.1 分段测试实验
• 7.2 分段测试的启示
• 7.3 基于分段训练的投票识别法
• 7.4 基于分段训练的焦点识别法
• 7.4.1 语音情感焦点的定义和度量
• 7.4.2 基于情感焦点的语音情感识别
• 7.5 基于语段方法的相关理论分析
• 7.6 小结
• 第八章 EmEars-一个普通话语音情感识别系统
• 8.1 系统结构概述
• 8.2 主要模块结构
• 8.2.1 实时语音采集模块
• 8.2.2 增益标准化模块
• 8.3 系统实现
• 8.4 性能测试与评价
• 8.5 小结
• 第九章 总结与展望
• 9.1 内容及成果总结
• 9.2 研究展望
• 参考文献
• 攻读博士学位期间完成论文情况
• 致谢
• 独创性声明
• 学位论文版权使用授权书