基于语言混合特征的情感识别研究

论文摘要

语音是人类交流的重要手段之一,它是传递信息中比较方便和简易的途径。语音信号中不仅仅包含了人们要表达的语义等信息,还包含着人们的情感信息,传统的语音处理往往会忽略这些情感信息,但它们在语音的交流中起着非常重要的作用。因此,近年来情感识别逐渐成为研究的热点。本文主要研究了两种情感识别模型,一种是基于误差反向传播（Error Back Propagation, BP）算法的多输出型（All Class in One neural Network, ACON）网络,另一种是基于模板匹配的动态时间规整（Dynamic Time Warping, DTW）算法,并根据仿真实验的结果搭建了一个基于BP算法的语音情感识别系统。具体工作如下：（1）介绍了语音情感识别相关的语音信号处理的基本知识。（2）详细地讨论了情感特征参数的分析与提取。精确地提取情感特征参数是计算机能够正确进行情感状态识别的基础。根据不同情感发音机制的差异,本文选择几种不同类型的参数：振幅能量、基音频率、共振峰、线性预测倒谱系数（Linear Predictive Cepstral Coefficient, LPCC）,并在此基础上进行细化,求出它们的衍生特征。（3）研究了两类情感识别算法：BP算法和DTW算法。在MATLAB7.0环境下,设计并完成了仿真对比实验,分析实验结果表明传统的DTW算法无论在稳定性和识别率上都不如多模板DTW算法,而BP算法比多模板DTW算法更加有效和可靠。（4）在VC++6.0平台上,初步实现了基于BP算法的语音情感识别在线系统。系统能根据训练好的情感识别网络以及当前输入的情感语音信号实现对说话人的情感状态的识别,并通过相应的面部表情动画生动地展现实验结果。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 绪论
• 1.1 语音情感识别的研究背景及意义
• 1.2 语音情感识别的研究现状
• 1.3 语音情感的分类
• 1.4 本文主要的工作及结构安排
• 第二章 语音信号的前端处理
• 2.1 语音信号的时域分析
• 2.1.1 语音信号的预加重
• 2.1.2 语音信号的分帧与加窗
• 2.1.3 短时能量和短时平均幅度
• 2.1.4 短时过零率
• 2.1.5 短时平均幅度差函数
• 2.2 语音的变换域分析
• 2.2.1 频谱分析
• 2.2.2 倒谱分析
• 2.2.3 语音信号的线性预测分析
• 2.3 语音信号的端点检测
• 2.3.1 双门限端点检测算法
• 2.4 本章小结
• 第三章 语音情感特征参数的分析与计算
• 3.1 语音情感特征参数的分析
• 3.2 语音情感特征参数的计算
• 3.2.1 振幅能量相关参数
• 3.2.2 基音频率相关参数
• 3.2.3 共振峰相关参数
• 3.2.4 线性预测倒谱系数LPCC
• 3.3 本章小结
• 第四章 识别模型基本原理
• 4.1 BP神经网络
• 4.1.1 BP神经网络结构
• 4.1.2 BP学习过程及算法
• 4.2 动态时间规整算法
• 4.2.1 DTW的基本原理
• 4.2.2 路径搜索
• 4.2.3 DTW算法的改进
• 4.3 本章小结
• 第五章 语音情感识别仿真
• 5.1 语音情感库的录制
• 5.2 语音情感的识别流程
• 5.3 情感语音特征参数提取
• 5.4 情感识别仿真实验
• 5.4.1 基于BP算法的ACON模型训练
• 5.4.2 DTW模型训练
• 5.4.3 两种识别模型的仿真实验与对比
• 5.5 本章小结
• 第六章 语音情感识别系统实现
• 6.1 系统结构概述
• 6.2 系统主要模块结构
• 6.2.1 训练模块
• 6.2.2 测试模块
• 6.3 系统实现
• 6.4 本章小结
• 第七章 总结与展望
• 7.1 总结
• 7.2 展望
• 参考文献
• 致谢