虚拟情境中虚拟人语音情感交互技术研究

论文摘要

情感虚拟人(Emotion Virtual Human)技术是具有多模态情感行为协同表现能力的计算机虚拟技术,从本质上讲是一种实时、直观的人机交互手段。虚拟实境(Virtual Reality)是利用计算机仿真技术模拟真实世界的视觉,听觉甚至触觉等多种感观,让人置身于一个真实中并不存在的仿真世界的技术。语音情感识别(Speech Emotion Recognition)是将人类语音中的情感因素进行提取与分辨,达到利用计算机分析人类语音中情感因素的目的。本文将情感虚拟人技术、虚拟实境技术与语音情感识别三者有机的结合起来,着力于研究更简单直观和更人性化的人机交互技术,搭建一个从真实世界人类情感语音到虚拟世界情感虚拟人的交互桥梁。本文的具体工作如下：第一,研究和分析当今心理学界和情感语音识别研究领域对于情感模型的分类,比较各种模型的特点,从而根据汉语普通话语音信号在语音识别上的特点,选择了高兴、生气、悲伤、惊讶和中性这五种状态的情感模型。第二,在语音情感识别方面,获取标准的普通话情感语音素材库,研究对语音信号的前端处理与分析,提取语音信号中包含的情感特征向量,利用参数选择对所提取的特征向量进行以降维为宗旨的筛选,去掉语音情感特征参数中冗余的部分,选择样本中类内距离小而类间距离大低耦合度特征向量组合,提高识别率。第三,利用隐马尔可夫链模型对语音信号进行情感识别。语音情感识别与语音语意识别在本质上是相通的,隐马尔可夫式已广泛用于语音语意识别中,而通过对所获取语音样本的特征提取与模式识别的实验,证明隐马尔可夫式在语音情感识别方面具有较高的识别率与较好的识别效果。第四,在虚拟实境与虚拟人搭建方面的研究,利用3D建模软件Maya和虚拟实境软件Virtools建立情感虚拟人,说明了虚拟人的建模与控制详细过程,通过控制模块来完成虚拟人对所识别的情感结果在视觉上的呈现与反馈,达到人机交互的良好效果。

论文目录

• 学位论文数据集
• 摘要
• Abstract
• 第一章 绪论
• 1.1. 情感虚拟人研究的背景及应用价值
• 1.2. 语音情感识别研究背景及现状
• 1.2.1 语音情感识别研究背景
• 1.2.2 语音情感识别研究现状
• 1.3. 课题来源
• 1.4. 本文的研究内容及章节安排
• 第二章 虚拟人情感模型的研究
• 2.1 情感的定义
• 2.2 情感的分类
• 2.3 情感模型的选择
• 2.4 本章小结
• 第三章 情感语音信号的处理
• 3.1 情感语音素材库的收集和建立
• 3.1.1 情感语音素材库的研究
• 3.1.2 语音情感资料库的获取
• 3.1.3 情感语音数据的存取
• 3.1.4 实验法筛选建立情感语音库
• 3.2 情感语音预处理
• 3.3 语音情感特征参数的选择
• 3.3.1 基于模型的特征
• 3.3.2 非基于模型的特征
• 3.3.3 本文对语音情感特征参数的选择与降维
• 3.4 本章小结
• 第四章 语音情感识别
• 4.1 语音情感识别方法研究
• 4.1.1 高斯模型法（GMM）
• 4.1.2 隐式马尔可夫模型（HMM）
• 4.1.3 K-最近邻分类器（KNN）
• 4.1.4 人工神经网络（ANN）
• 4.1.5 支持向量机（SVM）
• 4.2 基于隐马尔可夫模型的语音情感识别
• 4.2.1 隐马尔可夫模型的定义
• 4.2.2 隐马尔可夫模型的三个问题
• 4.3 基于HMM的语音情感识别系统设计和实验
• 4.3.1 HMM模型的选择和对比实验的提出
• 4.3.2 基于CHMM的语音情感识别实验
• 4.3.3 基于CHMM的模型训练
• 4.3.4 VITERBI算法进行模型识别
• 4.3.5 CHMM语音情感识别实验结果
• 4.3.6 对比组：基于DHMM的语音情感识别实验
• 4.3.7 CHMM与DHMM语音情感识别性能比较实验
• 4.3.8 实验结果讨论
• 4.4 本章小结
• 第五章 情感虚拟人的设计与实现
• 5.1 虚拟人建模
• 5.1.1 人脸模型的拓扑结构建立
• 5.1.2 虚拟人表情的制作
• 5.2 虚拟人的控制—VIRTOOLS三维实境软件
• 5.2.1 虚拟情境搭建并导入虚拟人模型
• 5.2.2 虚拟人的控制
• 5.2.3 VIRTOOLS BUILDING BLOCKS的设置和连接
• 5.3 虚拟人控制的实验
• 5.4 本章小结
• 第六章 总结与展望
• 6.1 工作总结
• 6.2 需要改进的地方
• 6.3 工作展望
• 参考文献
• 致谢
• 作者和导师介绍
• 北京化工大学硕士研究生学位论文答辩委员会决议书