普通话语音情感信息的分析与研究

论文摘要

随着多模态人机交互技术的发展,新型人机交互模式的应用前景更加广阔。语音作为一种自然有效的人机交互方式,成为当前的研究热点。语音信号不仅包含语言信息,还包含着说话人的情感信息。语音情感信息处理技术的研究对于提高计算机的智能化具有重要的现实意义。基于包含高兴、愤怒、悲伤、害怕、惊奇和中性6种情感状态的情感语音数据库,本文主要探讨了语音信号中情感信息的处理方法,重点研究了语音情感识别的相关技术。首先对语音的情感特征参数进行提取,包括韵律特征参数和谱相关参数(MFCC系数)。为了比较情感语句相对于中性语句的韵律参数的变化特性,选择了基频轨迹、能量包络和时间构造参数的统计特征进行了对比实验,并得出了具体的数量变化和比值直方图。采用GMM模型建立了基于MFCC特征参数的语音情感识别系统。在最优参数配置下,GMM分类器的平均识别率可达到72.34%。分别研究了基于清浊音分段和基于整个情感语句的韵律特征及其在表征情感状态方面的性能,并采用KNN算法和GMM算法分别设计了基于韵律特征的语音情感分类器。实验证明,基于清浊音分段的韵律特征更能区分不同的情感状态,在GMM算法下,最高平均识别率可达到达到67.92%。针对两种分类算法,分析了各个情感的识别率、6种情感的平均识别率及系统参数对性能的影响,同时比较了分类器对不同情感状态的识别性能并指出了算法可能存在的缺陷。在此基础上,研究了连续语音识别系统的设计过程,并搭建了基于HTK的情感语音识别系统。该系统在识别说话内容的同时,也能识别出情感语句的情感状态。为了消除情感引起的语音声学特征的变异,对每个情感状态的声韵母基元进行HMM建模。对于情感语音信号,系统的音节平均识别率达到50%以上。本文在情感特征的选择和情感分类器的设计等方而进行了深入细致的研究,并总结了系统存在的不足和下一步工作的研究思路,为语音情感分类的进一步研究提供了有价值的参考。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景及意义
• 1.2 语音情感识别的研究现状
• 1.3 语音情感识别技术概述
• 1.3.1 语音信号的情感特征分析
• 1.3.2 语音情感识别的研究方法
• 1.4 论文内容安排
• 第二章 汉语普通话情感语音库
• 2.1 语音情感分类
• 2.2 汉语情感语音数据库
• 第三章 情感语音特征参数的分析和提取
• 3.1 语音信号预处理
• 3.2 MFCC参数提取
• 3.3 基音轨迹参数定义及提取
• 3.4 能量参数定义及提取
• 3.5 时间参数定义及提取
• 第四章 语音情感分类器及性能比较
• 4.1 语音情感分类器算法
• 4.1.1 K-近邻算法
• 4.1.2 GMM模型的基本原理
• 4.2 语音情感识别系统的建立
• 4.2.1 基于KNN算法的情感语音识别
• 4.2.2 基于GMM算法的情感语音识别
• 第五章 基于HTK的情感语音识别系统的设计与实现
• 5.1 HTK简介
• 5.2 连续语音识别
• 5.3 系统功能与结构
• 第六章 结论
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文
• 学位论文评阅及答辩情况表