基于多语种语音信号的情感识别研究

论文摘要

语言是人类特有的表达情感的重要工具,话语中不仅包含语义信息,也包含人们特定的情绪心理特征。传统的语音处理系统往往着眼于内容的准确性,忽略了对心理特征的研究。近年来,随着人机自然交互、心理检测、智能机器人等诸多领域的应用需要,针对语音信号分析辨识其中的情感特征,受到越来越多的研究人员的关注,语音情感识别成为语音处理领域一个新的研究热点。但是,目前对情感识别的研究还不深入,在情感语音数据库的建立、情感特征参数提取、情感识别方法等诸多方面的研究还没有形成系统的理论。研究人员对英语的分析较多,而对汉语的研究较少。另外,情感参数的选取主要集中在语音声学方面,而对融合了语义、面部表情、人体生理信息的多模式识别研究较少。因此,可以说语音情感识别尚处于初步阶段,还有许多工作须要深入下去。本文以多语种情感语音为研究对象,对语音情感数据库的建立、语音声学特征参数的提取、基于声学特征的情感识别、结合语义的情感识别等问题进行了深入的研究,主要包括以下内容:第一,选择平静、高兴、愤怒、惊奇和悲伤5种情感状态,在实验室环境下录制情感语音样本,建立包括汉、英、日、韩、俄等在内的多语种情感语音数据库。第二,分析了不同情感状态下多语种语音信号的声学特征,提取了韵律特征参数,对不同语种的情感语音进行了声学特征的比较,得出了语音情感特征的一般规律,即在同一情感状态下,不同语种的声学特征存在相似性。第三,以多语种情感语音数据库为样本集,分别运用主元素分析法及高斯混合模型法进行了情感识别实验,其中主元素分析法取得了74.2%的平均识别率,高斯混合模型法则获得了78.1%的平均识别率。第四,在分析声学特征的基础上,结合语义信息对语音情感进行识别。首先对带有情感色彩的词汇进行标注,通过动态时间规整算法识别语句中的情感关键词,提取语句的语义信息。然后将语音信号的韵律特征与语义信息结合,采用高斯混合模型法进行识别。实验结果表明,结合语义信息的情感识别率比单纯使用韵律特征的识别率高3个百分点。本文的主要创新,一是建立了多语种情感语音数据库,通过声学特征参数的提取、分析,得出了语音情感特征的一般规律;二是在韵律特征的基础上结合语义信息,进行了情感识别实验,获得了比使用韵律特征更高的识别率。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 课题的研究背景
• 1.2 语音情感识别的研究现状
• 1.3 语音情感识别的应用前景
• 1.4 论文的研究内容及组织结构
• 第二章 情感语音数据库
• 2.1 情感的分类
• 2.2 多语种语音情感数据库的建立
• 2.2.1 国内外情感语音数据库举例
• 2.2.2 文本设计
• 2.2.3 数据录制
• 2.2.4 听辨实验
• 2.3 本章小结
• 第三章 语音信号处理与情感特征提取
• 3.1 语音信号的数字化和预处理
• 3.1.1 采样和量化
• 3.1.2 预处理
• 3.2 语音情感特征参数的选择
• 3.3 语音情感特征参数的提取
• 3.3.1 时间特征参数的提取
• 3.3.1.1 发音持续时间
• 3.3.1.2 语速
• 3.3.2 振幅特征参数的提取
• 3.3.3 基频特征参数的提取
• 3.3.3.1 短时自相关函数
• 3.3.3.2 线性预测
• 3.3.3.3 中值平滑处理
• 3.3.4 共振峰特征参数的提取
• 3.4 语音情感特征参数分析
• 3.5 本章小结
• 第四章 语音情感识别与系统实现
• 4.1 主元素分析法（PCA）
• 4.1.1 PCA 方法的数学模型
• 4.1.2 贡献性分析
• 4.1.3 PCA 方法应用于语音情感识别
• 4.1.4 实验结果及分析
• 4.2 高斯混合模型法（GMM）
• 4.2.1 单一高斯密度函数的参数估计
• 4.2.2 混合高斯密度函数的参数估计
• 4.2.3 GMM 法应用于语音情感识别
• 4.2.4 实验结果及分析
• 4.3 识别方法比较
• 4.4 语音情感识别系统
• 4.5 本章小结
• 第五章 结合语义信息的情感识别
• 5.1 情感标注
• 5.1.1 情感差别的语义体现
• 5.1.2 词汇的情感标注
• 5.2 情感关键词识别
• 5.2.1 线性预测系数（LPC）
• 5.2.2 动态时间规整（DTW）
• 5.2.2.1 增益归一化似然比失真测度
• 5.2.2.2 路径约束
• 5.2.3 关键词识别算法
• 5.2.3 关键词识别实验
• 5.3 结合语义的情感识别实验
• 5.4 本章小结
• 第六章 结束语
• 6.1 总结
• 6.2 展望
• 参考文献
• 致谢
• 附录A（攻读学位期间发表论文目录）