基于特征选择与融合的语音情感识别研究与实现

论文摘要

随着计算机网络通信技术和多媒体技术的飞速发展,新型的人机交互已成为计算机应用技术研究的重要方向,而语音的情感识别对实现人机自然交互至关重要。在心理学、生理学、神经科学和计算机技术及与之相关的模式识别技术发展的基础上,语音情感识别的研究在理论和应用上都取得了长足进步,初步建立起语音情感识别体系框架。但随着人们对情感识别应用需求的增多,现有的技术与方法已不能满足需求,特别是汉语语音情感识别的研究相对较少,这就需要加快工作步伐,填补这方面的空白。本文以人机自然交互为背景,分析了语音情感识别目前存在的问题,研究了语音情感识别中的几个关键技术,主要内容包括:(1)普通话情感语音数据库的建立。本文提出了以文本信息引导的录音法及影视资料剪辑法共采集1450句情感语音,分为愤怒、害怕、高兴、中性和悲伤5个情感类别。(2)声学特征的分析与特征参数选择。本文分析了情感语音的声学特征在不同情感状态下的静态规律以及在情感状态转变时的动态规律,提出了二阶段特征选择法。通过该方法选出了实验样本中类内距离小、类间距离大的特征子集,提高了识别率。(3)统计特征和时序特征的融合。通过矢量量化技术,将声学的统计特征和时序特征进行融合,通过实验确定了特征参数在特定情况下的最优配置。(4)基于神经网络的语音情感识别系统。本文综合前面章节的各项技术,设计并实现了普通话语音情感识别原型系统:ERSNN。本文在情感语音库的建立、情感声学特征的选择与融合以及小型的语音情感识别系统的实现等方面提出了一种新的思路和有效的解决方案,为语音情识别的进一步研究提供了可行的参考。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景及意义
• 1.2 语音情感识别研究现状
• 1.2.1 国外最新研究动态
• 1.2.2 国内最新研究动态
• 1.3 本文的研究内容及章节安排
• 1.3.1 研究内容
• 1.3.2 章节安排
• 第二章 情感语音库的建立
• 2.1 情感的分类
• 2.1.1 情感空间
• 2.1.1.1 Activation Evaluation 空间
• 2.1.1.2 情感轮
• 2.2 情感语音库的建立
• 2.2.1 普通话情感语音资料的获取
• 2.2.1.1 录音法
• 2.2.1.2 剪辑法
• 2.3 情感语音的组织与存取
• 2.4 小结
• 第三章 基于SFS/GRNN 特征选择技术
• 3.1 声学统计特征的分析与提取
• 3.1.1 情感语音信号的预处理
• 3.1.2 统计特征的分析与提取
• 3.1.2.1 语音短时分析技术
• 3.1.2.2 基音频率
• 3.1.2.3 振幅能量
• 3.1.2.4 共振峰
• 3.2 基于SFS/GRNN 特征选择实验
• 3.2.1 使用SFS/CON 改进的特征选择方法
• 3.2.2 GRNN 的基本原理及MNN 结构设计
• 3.2.3 实验结果及分析
• 3.2.3.1 SFS/GRNN 选择特征
• 3.2.3.2 CON 细化选择特征
• 3.2.3.3 多个分类器实验比较
• 3.3 小结
• 第四章 基于VQ 技术的特征向量融合
• 4.1 特征融合方法的提出
• 4.1.1 特征参数的组合
• 4.1.2 改进的特征融合方法
• 4.2 矢量量化技术
• 4.2.1 矢量量化定义
• 4.2.2 基于改进的LBG 算法的矢量量化器设计
• 4.2.2.1 分裂法求初始码本
• 4.2.2.2 改进的LBG 算法
• 4.3 基于VQ/ANN 的语音情感识别
• 4.3.1 频谱特征的提取及前端处理
• 4.3.1.1 MFCC 和△MFCC 的提取
• 4.3.1.2 使用VQ 的前端处理
• 4.4 实验结果及分析
• 4.4.1 码书的选择
• 4.4.2 神经网络分类器的设计
• 4.4.3 结果比较与分析
• 4.5 小结
• 第五章 基于神经网络的语音情感识别系统的设计及实现
• 5.1 神经网络模型的构建
• 5.1.1 神经网络方法简介
• 5.1.2 情感识别神经网络模型的建立
• 5.1.2.1 BP 网络结构
• 5.1.2.2 神经网络拓扑结构
• 5.2 语音情感识别系统ERSNN 设计
• 5.2.1 主要模块结构
• 5.2.1.1 语音信号采集与处理模块
• 5.2.1.2 特征参数选择与融合模块
• 5.2.1.3 离线训练和在线识别模块
• 5.3 语音情感识别系统ERSNN 实现
• 5.4 ERSNN 性能测试与评价
• 5.5 小结
• 第六章 总结与展望
• 6.1 总结
• 6.2 展望
• 参考文献
• 致谢
• 在学习期间的学术成果和发表论文