移动语音情感识别系统的研究与开发

论文摘要

在当前E-Learning和移动学习的教学环境下,师生之间在时空上往往是相互分离的,这就导致师生之间缺少必要的情感交流并造成情感缺失,而情感的反馈作为一种重要的教学反馈信息,有利于教师调整教学策略,从而提高教学质量。基于语音的情感识别技术作为当前人机交互等领域中的一个研究热点,可以很好地应用于M-Learning场景中,从而实现M-Learning教学系统的智能化和人性化。本文针对M-Learning教学应用环境,研究了基于移动终端的语音情感识别系统,该系统可以在实时和非实时两种情景下,通过分析学生的语音信号,识别出他/她当前的情感状态。由于目前语音情感识别技术还不太成熟,尚没有比较通用的语音情感特征参数提取算法,在不同的语言、不同的性别以及不同的环境中,对同一种情感语音的识别具有较大差异。本文通过相关研究和实验,改进了现有的情感特征提取算法,通过PCA算法来进行特征降维,再利用支持向量机进行训练和学习,从而获得一个具有较高情感区分能力的语音模型,提高了识别率。同时为了更有利于中文语音情感识别研究,本文还建立了一个学习场景下的中文情感语料库。系统首先在PC端进行研发,再移植至移动设备上。考虑到移动设备的性能局限,本文将耗时较多,计算处理量大的模型训练过程放在PC端进行,然后将训练好的模型导入到移动设备,移动设备直接利用这个模型进行语音情感识别,提高了系统在移动终端上的运行效率。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 E-Learning 和移动学习概述
• 1.2.1 E-Learning 的定义和发展
• 1.2.2 移动学习的定义和发展
• 1.3 语音情感识别概述
• 1.3.1 语音情感计算的定义
• 1.3.2 语音情感计算的研究内容
• 1.4 研究的目的与意义
• 1.5 论文的组织结构
• 第二章 语音情感识别基础
• 2.1 情感的定义和分类
• 2.1.1 情感的定义
• 2.1.2 情感的分类
• 2.2 语音情感识别研究现状
• 2.3 语音情感识别研究关键技术
• 2.3.1 语音信号产生及数学模式
• 2.3.2 语音信号分析与处理
• 2.3.3 语音信号情感特征参数提取
• 2.3.4 语音情感识别分类算法
• 2.4 情感语料库
• 2.4.1 情感语料库的收集
• 2.4.2 情感语料库的制作
• 2.5 本章小结
• 第三章 语音特征参数的选取和降维
• 3.1 短时能量
• 3.2 基音频率
• 3.3 梅尔频率倒谱系数
• 3.4 梅尔能量倒谱动态系数
• 3.5 特征参数的向量化
• 3.6 特征参数的降维
• 3.7 本章小结
• 第四章 语音情感识别系统的设计与实现
• 4.1 PC 端语音情感识别系统设计和实现
• 4.1.1 系统整体设计框架
• 4.1.2 系统整体的实现
• 4.1.3 系统的运行效果图
• 4.2 移动终端语音情感识别系统设计和实现
• 4.2.1 移动终端与移动学习
• 4.2.2 实验设备
• 4.2.3 系统整体的实现
• 4.2.4 系统运行效果图
• 4.3 本章小结
• 第五章 实验结果与分析
• 5.1 训练模型
• 5.2 测试结果
• 5.3 分析与总结
• 5.3.1 特征参数的差异
• 5.3.2 语种的差异
• 5.4 本章小结
• 第六章 结束语
• 6.1 主要工作与创新点
• 6.2 后续研究工作
• 参考文献
• 致谢
• 附录1
• 攻读硕士学位期间已发表或录用的论文及参与的项目