基于语音信号的情感识别研究

论文摘要

情感在人类的感知、决策等过程扮演着重要角色。长期以来情感智能研究只存在于心理学和认知科学领域，近年来随着人工智能的发展，情感智能跟计算机技术结合产生了情感计算这一崭新的研究课题，这将大大的促进计算机技术的发展。情感的计算机自动识别是通向情感计算的第一步。语音作为人类最重要的交流媒介，携带着丰富的情感信息。如何使用计算机技术从语音中自动识别说话者的情感状态近年来受到各领域研究者的广泛关注。现有的基于语音声学特征的情感识别研究，尤其是针对普通话语音的研究，还存在较多局限性，如不能像语音识别一样找到一种可以广泛使用的特征，且识别效果不佳，鲁棒性较差等。本文针对日常生活中最常见的四种情感状态：生气、高兴、伤心、惊奇和一种无情感状态为例，对基于语音信号的情感识别进行了研究，主要内容和成果如下： 1．研究了基于基音频率、短时能量、共振峰频率、Mel频率倒谱系数（Mel-Frequency Cepstral Coefficient，MFCC）和Mel频率子带能量等共201个衍生特征的情感区分能力。提出了一种基于特征选择（Feature Selection，FS）和支持向量机（Support Vector Machine，SVM）的语音情感识别方法。试验结果表明，通过引入除常用的基频、短时能量和共振峰频率之外的其他特征，识别效果得到明显的提高。此外，由于待选特征较多，难免存在无关特征或冗余特征，因此特征选择的使用在降低复杂度之外也大大的提高了情感识别率。 2．鉴于语音的基频等特征的准确提取比较困难且计算复杂，本文提出了一种称为Mel频率能量动态系数（Mel frequency energy dynamics coefficients，MFEDC）的特征参数。该特征的重要特点是计算原理简单。试验结果表明，该特征参数结合支持向量机方法对五种情感状态的识别可以得到较好的效果。 3．提出了一种基于一组时序特征和（hidden Markov model，HMM）的语音情感识别技术。从基于基音频率、短时能量、共振峰频率、MFCC和Mel频率子带能量的短时特征序列及其高阶特征中，通过一定的特征序列选择方法，得到一组相对较优的特征序列子集，并利用HMM模型进行五种情感状态的识别。试验结果表明，该方法不但可以获得较高的识别率，且优于只用基频和能量两类特征或只用等维MFCC的识别方法。 4．初步研究了语音情感识别的鲁棒性，对对数频率功率系数（Log Frequency Power Coefficients，LFPC）进行了改进，提出了一种称为MS-LFPC的特征矢量，理论分析和试验结果都证明，相对于LFPC，MS-LFPC不但能够提高

论文目录

• 摘要
• Abstract
• 目录
• Contents
• 第一章 绪论
• 1.1 研究背景
• 1.2 本文研究的主要工作及研究成果
• 1.3 本文章节安排
• 第二章 语音情感识别技术研究现状
• 2.1 引言
• 2.2 情感的分类
• 2.3 情感语音数据
• 2.4 情感语音特征
• 2.5 语音情感识别方法
• 2.5.1 基于人工神经网络的识别方法
• 2.5.2 基于隐马尔可夫模型和高斯混合模型的识别方法
• 2.5.3 基于支持向量机的识别方法
• 2.5.4 其他识别方法
• 2.6 讨论
• 2.7 本章小结
• 第三章 基于HMM及SMM的语音情感识别试验系统
• 3.1 引言
• 3.2 HMM模型的基本原理
• 3.2.1 HMM模型的训练
• 3.2.2 基于HMM模型的语音情感识别
• 3.3 SVM的基本原理
• 3.4 试验语音数据库
• 3.5 本章小结
• 第四章 基于特征选择及SVM的语音情感识别
• 4.1 引言
• 4.2 基于特征选择识别系统的基本原理
• 4.2.1 待选特征的提取
• 4.2.2 特征选择
• 4.3 试验研究
• 4.3.1 试验语音数据
• 4.3.2 特征选择及结果
• 4.3.3 部分已选特征分析
• 4.3.4 识别验证及结果分析
• 4.4 本章小结
• 第五章 基于全局谱动态特征及SVM的语音情感识别
• 5.1 引言
• 5.2 基于全局频谱动态特征识别系统的基本原理
• 5.2.1 动态特征的提取
• 5.3 试验结果
• 5.4 本章小结
• 第六章 基于短时特征序列及HMM的语音情感识别
• 6.1 引言
• 6.2 基于短时特征序列及HMM识别系统的基本原理
• 6.2.1 短时特征序列提取
• 6.2.2 特征序列选择
• 6.3 试验结果
• 6.3.1 试验语音数据
• 6.3.2 特征序列选择结果及分析
• 6.3.3 识别验证及分析
• 6.4 本章小结
• 第七章 基于MS-LFPC及非线性MS-LFPC/MS-HFPC的较高鲁棒性的语音情感识别
• 7.1 引言
• 7.2 基于MS-LFPC的语音情感识别技术
• 7.2.1 MS-LFPC特征提取
• 7.2.2 识别试验结果及分析
• 7.3 基于非线性MS-LFPC及MS-HFPC的语音情感识别
• 7.3.1 基于非线性MS-LFPC特征的语音情感识别
• 7.3.2 基于NTD-MS-HFPC特征的语音情感识别
• 7.3.3 试验结果
• 7.4 本章小结
• 结论
• 参考文献
• 在学期间完成的学术论文
• 致谢
• 附录1 部分已选特征的密度分布图