面向连续语音识别的半监督学习方法的研究

论文摘要

语音识别技术日趋成熟,但仍存在一系列难题亟待解决。其中较为突出的是:对数据的标注成本高、耗时长,想获得大量的标注数据十分困难,而另一方面,却很容易获得大量的未标注数据。这种情况下,半监督学习是一种有效的学习方法,能够充分利用所有这些数据来得到较好的训练结果。本文主要研究连续语音识别中的半监督学习方法,着眼于对声学模型的性能的改进。针对经典的F. Wessel与H. Ney方法中的句子内滤除法会带来系统性能下降这个问题,本文提出一种自学习与确认相结合的策略,可以有效地提高声学模型的性能,在仅使用100句语料(约合20分钟)作为初始训练集的情况下,系统对测试集的识别率相对平均提高了4.9%。考虑到高置信度数据分布的集中性,文中同时使用高低置信度数据来训练系统,相比于仅应用高置信度数据的方法,系统对测试集的识别率平均提高了1.4%左右。另外,文中还尝试使用信息熵来进行数据筛选。根据最大熵原理,每次选择熵最大的数据加入到训练集中,实验表明依据信息熵进行数据筛选的半监督学习方法是有效、可行的。在当今很容易获得海量未标注数据的情况下,想要充分利用未标注数据,半监督学习的确是一个很明智的选择。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究的目的和意义
• 1.2 半监督学习方法综述
• 1.3 国内外在该方向的研究现状及分析
• 1.4 论文的主要内容及其组织
• 第2章 连续语音识别系统
• 2.1 概述
• 2.2 HMM模型
• 2.2.1 HMM模型的定义
• 2.2.2 HMM模型的建立
• 2.2.3 HMM模型的训练
• 2.2.4 HMM模型解码算法
• 2.3 语言模型
• 2.3.1 统计语言模型
• 2.3.2 语言模型评价
• 2.4 连续语音识别算法
• 2.5 本章小结
• 第3章 自学习与确认相结合的半监督学习
• 3.1 半监督学习方法的原理简介
• 3.2 传统的半监督学习方法
• 3.2.1 置信度原理
• 3.2.2 结合置信度进行半监督学习
• 3.3 自学习与确认相结合的半监督学习方法
• 3.4 实验
• 3.4.1 实验环境及实验数据
• 3.4.2 几种半监督学习方法的性能比较
• 3.4.3 结合高低置信度数据进行半监督学习
• 3.5 本章小结
• 第4章 基于信息熵的半监督学习
• 4.1 信息熵
• 4.1.1 熵的概述
• 4.1.2 信息熵
• 4.2 结合信息熵进行半监督学习
• 4.3 实验
• 4.4 本章小结
• 结论
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢