基于语音信号的情绪识别研究

论文摘要

在人机交互不断取得新进展的同时,计算机缺乏情感越来越成为双方交流的障碍,于是诞生了“情感计算”科学。语音情绪识别是情感计算的重要分支,在人机交互中有着广泛的应用。本文以汉语语音中的情绪为研究对象,采用高斯混合模型和最大期望算法为主要手段,对语音情绪识别进行了探讨,并设计出了语音情绪识别算法,提高了人机交互的智能水平。首先,分析人类的发音机理和汉语发音的几种特点;结合本课题的研究对象和录音脚本的选取原则,用诱导式录音法建立起了语音数据库;根据发音与情绪之间的关系提取出了能够表达情绪变化的特征参数,并用中心削波原理对自相关函数法计算基音周期进行了改进,提高了运算速度。其次,分析了用高斯混合模型进行情绪分类的方法并加以改进,用期望最大算法将对数似然函数最大化,扩大了高斯混合模型对语音情绪的识别范围;编写了MATLAB程序完成了权值学习和情绪识别的过程,实现了对语音信号中的情绪分类;讨论了期望最大算法的收敛性。最后,用凌阳公司开发的控制板和直流驱动的小车作为实验平台,实现了用语音情绪来控制小车的行进路线,验证了情绪识别的正确性;通过对情绪失控的探索,提出了利用情绪提高人机交互中的安全性的方法;对情绪程度进行了尝试性探索。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题来源及研究目的和意义
• 1.1.1 课题来源
• 1.1.2 研究目的和意义
• 1.2 关于语音情绪识别的国内外研究现状
• 1.2.1 媒体实验室的理论研究
• 1.2.2 NEC 与SGI 合作开发出的KOTOHANA 终端
• 1.2.3 Nemesysco 公司的分层分析技术
• 1.2.4 南加州大学关于发音学的研究
• 1.2.5 国内关于语音情绪识别研究的概况
• 1.3 对研究现状的分析
• 1.4 课题的主要研究内容
• 第2章 语音库的建立
• 2.1 引言
• 2.2 建立语音库的准则
• 2.2.1 语音库的取材范围
• 2.2.2 语音库录音时的自然性
• 2.2.3 语音采集的语境
• 2.3 录音脚本的选择
• 2.4 本章小结
• 第3章 语音信号的产生和接收及特征参数提取
• 3.1 引言
• 3.2 语音的产生与接收
• 3.2.1 语音的产生
• 3.2.2 语音的接收
• 3.3 对语音信号的预处理
• 3.3.1 采样和量化
• 3.3.2 短时加窗处理
• 3.4 语音信号的特征提取
• 3.4.1 发音速率
• 3.4.2 短时能量
• 3.4.3 短时过零率
• 3.4.4 端点检测
• 3.4.5 短时自相关函数及其基音周期和频率
• 3.5 特征参数与语音中情绪的对应关系
• 3.6 特征参数提取实验及结果分析
• 3.7 本章小结
• 第4章 语音中的情绪识别
• 4.1 引言
• 4.2 情绪识别原理
• 4.2.1 情绪识别方法的选择
• 4.2.2 高斯混合模型原理
• 4.3 EM 算法理论
• 4.4 EM 算法实现
• 4.4.1 EM 算法的程序设计
• 4.4.2 EM 算法的收敛性
• 4.5 情绪识别过程及结果分析
• 4.6 本章小结
• 第5章 语音情绪控制小车实验设计
• 5.1 引言
• 5.2 语音情绪控制实验小车模块
• 5.2.1 语音录入模块
• 5.2.2 特征提取模块
• 5.2.3 情绪判别模块
• 5.2.4 末端小车执行模块
• 5.3 语音情绪控制小车实验方案设计及结果分析
• 5.3.1 基本情绪测试
• 5.3.2 情绪失控测试
• 5.3.3 情绪程度测试
• 5.4 本章小结
• 结论
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢