声学模型区分性训练及其在自动语音识别中的应用

论文摘要

声学模型区分性训练已经成为当今主流语音识别系统中最重要的模型训练手段之一。与此同时,对区分性训练准则、模型优化算法以及应用性方法的研究,也日益引起越来越多研究者的重视。在这一背景下,本文围绕声学模型区分性训练及其在自动语音识别中的应用,进行了较系统而深入的研究。并且在准则、优化与应用三个方面都有一定的创新。首先,本文提出了一种新的区分性训练准则,即最小词分类错误MWCE准则。通过将传统基于句子级的MCE损失代价函数细化到词一级,MWCE准则尝试估计并最小化一个更直接的词级分类错误度量。由于这一词级错误度量更能够匹配大词汇量连续语音识别的目标,即降低词错误率,因此也就能够取得比句子级训练准则更好的识别性能。与其它的一些次句级区分性训练准则(如MWE、MPE)相比,MWCE准则提供了对词级错误的一个全新角度的表达,并在我们的实验中取得了更优的识别性能。这显示从训练准则上继续寻找物理意义更为明确合理的目标来进行优化,仍具有重要的意义。其次,本文提出了一种新的区分性训练模型参数更新算法,即MMIE准则基于Trust Region的模型参数更新。通过在参数更新过程中引入Trust Region约束,我们使用一种在数学上更为合理、物理意义上更为明确的方式来避免传统EB方法中无界优化问题的一些局限。同时,由于在每次迭代优化中我们都可以得到辅助函数在约束条件下的全局最优解,因此对准则更新的效率也就更高。实验证明,MMIE准则基于Trust Region的模型参数更新在准则优化与识别性能提升两方面都超过了传统的EB模型参数更新方法。第三,本文提出了对软分类边缘估计SME的一些完善和改进方法。通过将区分性训练领域近年来的一些重要技术引入,我们首次实现了句子级SME估计在大词汇量连续语音识别中的成功应用。接着,我们进一步提出SME估计下的帧级区分性训练方法,通过定义合理的分割度量,在帧尺度上对包含重要区分性信息的训练样本进行筛选。我们在实验中对比了传统MCE准则、句子级SME估计,以及帧级SME估计的性能。结果表明,由于引入了Soft Margin的概念,两种SME估计都能够取得超越MCE准则的性能。而我们提出的帧级SME估计在引入抑制噪声样本的参数后可以取得最好的、明显超过传统MCE准则的识别性能。最后,本文提出了一种区分性训练的应用性方法,即基于MMIE准则的HMM模型拓扑结构优化方法。我们根据MMIE准则定义出指导模型结构优化的启发性度量,尝试在各个HMM状态间“交换”高斯核以实现各状态混合高斯成份数目的非均匀分配。此外,还对高斯核交换完成后的特定HMM状态进行时间尺度上的拓扑结构后处理。通过以上这些步骤,我们将模型结构的优化与模型区分性的提高更直接的联系了起来。因此,基于区分性准则的模型拓扑结构优化方法在实验中能够在性能上超过传统的、基于似然度的其它模型结构优化方法。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 语音识别及其简史
• 1.2 语音识别问题
• 1.3 主流语音识别系统及其主要构成
• 1.3.1 声学特征提取
• 1.3.2 声学模型与语言模型
• 1.3.3 解码器
• 1.4 本文的主要内容、创新及组织结构
• 第2章 基于HMM的声学模型及其最大似然估计
• 2.1 引言
• 2.2 HMM的数学定义
• 2.2.1 马尔科夫过程及马尔科夫链
• 2.2.2 隐马尔科夫模型HMM
• 2.3 HMM的经典问题
• 2.3.1 评估问题
• 2.3.2 解码问题
• 2.3.3 训练问题
• 2.4 基于HMM的语音识别声学模型
• 2.5 本章小结
• 第3章 传统区分性训练准则及区分性训练统一准则框架
• 3.1 引言
• 3.2 贝叶斯决策理论
• 3.3 最大互信息量估计MMIE准则
• 3.3.1 MMIE准则的历史
• 3.3.2 MMIE准则的原理
• 3.4 最小分类错误MCE准则
• 3.4.1 MCE准则的历史
• 3.4.2 MCE准则的原理
• 3.5 最小词/音素错误MWE/MPE准则
• 3.5.1 MWE/MPE准则的历史
• 3.5.2 MWE/MPE准则的原理
• 3.6 其他一些区分性训练准则
• 3.7 区分性训练统一准则框架
• 3.8 针对区分性训练准则的模型参数优化算法
• 3.8.1 基于梯度下降的模型参数优化算法
• 3.8.2 基于EB的模型参数优化算法
• 3.9 区分性训练的其它问题
• 3.10 本章小结
• 第4章 MWCE准则及其在连续语音识别中的应用
• 4.1 引言
• 4.2 MCE准则及其与句子分类错误的关系
• 4.3 最小词分类错误MWCE准则
• 4.3.1 MWCE损失代价函数
• 4.3.2 MWCE损失代价函数与词级错误间的关系
• 4.3.3 区分性训练统一准则框架下的MWCE准则
• 4.4 实验及结果
• 4.4.1 实验细节及参数配置
• 4.4.2 实验结果
• 4.5 本章小结
• 第5章 MMIE准则基于Trust Region的HMM模型参数优化
• 5.1 引言
• 5.2 MMIE目标函数及基于Trust Region的辅助函数
• 5.3 基于Trust Region的模型参数优化约束
• 5.3.1 基于KLD的Trust Region约束
• 5.3.2 Trust Region约束对HMM模型均值更新的约束
• 5.3.3 Trust Region约束对HMM模型方差更新的约束
• 5.4 辅助函数基于Trust Region约束的优化
• 5.4.1 对均值优化问题的数学表达式
• 5.4.2 对方差优化问题的数学表达式
• 5.4.3 二次方程基于Trust Region约束问题的数学解法
• 5.5 实验及结果
• 5.6 本章小结
• 第6章 SME估计及其帧级区分性训练
• 6.1 引言
• 6.2 软分类边缘估计SME
• 6.2.1 SME估计基础理论
• 6.2.2 句子级SME估计
• 6.2.3 帧级SME估计
• 6.3 实验及结果
• 6.3.1 句子级SME估计
• 6.3.2 帧级SME估计
• 6.4 本章小结
• 第7章 基于MMIE准则的HMM模型拓扑结构优化
• 7.1 引言
• 7.2 基于BIC/MDL准则的非均匀高斯核分配
• 7.3 基于MMIE准则的非均匀高斯核分配
• 7.3.1 基于MMIE准则的目标函数及启发性度量
• 7.3.2 模型拓扑结构后处理
• 7.4 实验及结果
• 7.4.1 实验配置
• 7.4.2 实验结果
• 7.5 本章小结
• 第8章 总结
• 8.1 本文的主要工作
• 8.2 进一步的研究方向
• 插图索引
• 表格索引
• 参考文献
• 致谢
• 个人简历及在读期间发表的学术论文