基于有限状态图的语音识别系统的构建

论文摘要

经过Mohri等学者在AT&T的先驱工作，以加权有限状态转换器（WeightedFinite State Transducer，WFST）为框架的大词汇量连续语音识别系统受到了国内外研究机构的关注，目前许多主流的语音识别系统均采用这一框架，如美国IBM、AT&T、日本Titech、瑞士IDIAP等。基于WFST的语音识别系统包括两个阶段：搜索网络的编译和Viterbi解码。本文研究目标是搭建一个基于加权有限状态转换器的语音识别系统。本文工作主要集中在第一阶段，即构建首选识别（1-best）和多候选词图识别（lattice）任务的中、英文搜索网络。我们首先将语音识别中的各种知识源表示成加权有限状态转换器的格式，并使用组合操作将其进行组合得到一个完整的搜索网络，然后使用优化操作对搜索网络进行优化，优化后的搜索网络被等价地转换成有限状态图（Finite State Graph，FSG）的格式，FSG格式的搜索网络在内存中更加紧凑，更适合Viterbi解码。最后，使用实验室开发的通用Viterbi解码器GrpDecoder在FSG格式的搜索网络中进行解码实验。本文分别在中、英文下进行了1-best和lattice实验。大量实验表明，本文构建的识别系统在1-best识别中明显优于HTK和传统的两阶段识别系统，相同识别速度时实现了更低错误率；在lattice识别中取得了与HDecode相当的性能，且优于两阶段系统。另外，实验还表明，在相同的词图错误率下，新系统生成的词图密度要远小于HTK和两阶段识别系统生成的词图密度，这表明新系统产生的词图更加紧致和高效。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 语音识别的背景及意义
• 1.2 语音识别的历史与现状
• 1.3 选题背景和研究意义
• 1.4 论文章节安排
• 第2章 加权有限状态机理论和有限状态图
• 2.1 本章引论
• 2.2 加权有限状态接收器（WFSA）和加权有限状态转换器（WFST）的定义
• 2.3 加权有限状态机相关操作
• 2.3.1 组合操作（composition）
• 2.3.2 确定化操作（determinization）
• 2.3.3 最小化操作（minimization）
• 2.4 有限状态图（FSG）的定义
• 2.5 FSG 和 WFST 的相互转换
• 第3章 语音识别系统概述
• 3.1 语音识别系统框架
• 3.1.1 声学模型
• 3.1.2 语言模型
• 3.2 词图
• 3.3 语音识别中的基本参数说明
• 3.3.1 实时因子（RTF）
• 3.3.2 单词错误率（WER）、音节错误率（CER）和词图错误率（GER）
• 3.3.3 词图密度（WGD）
• 3.4 加权有限状态转换器在语音识别中的应用
• 第4章 中英文大词汇量连续语音识别系统的设计
• 4.1 本章引论
• 4.2 知识源的 WFST 表示、组合及优化
• 4.2.1 语言模型（G）的表示
• 4.2.2 发音词典（L）的表示
• 4.2.3 上下文相关音子模型（C）的表示
• 4.2.4 声学模型（H）的表示
• 4.2.5 搜索网络的构建及优化
• 4.3 用于词图生成的搜索网络的构建及相关操作
• 4.3.1 用于词图生成的搜索网络的构建
• 4.3.2 PushLabel 操作
• 4.4 GrpDecoder 简介
• 第5章 性能测试
• 5.1 本章引论
• 5.2 FSG 相对于 WFST 的优势
• 5.3 英文实验
• 5.3.1 英文实验设置
• 5.3.2 英文搜索网络的构建及规模
• 5.3.3 英文 1-best 实验结果
• 5.3.4 英文 lattice 实验结果
• 5.4 中文 1-best 实验
• 5.4.1 中文实验设置
• 5.4.2 中文搜索网络的构建及规模
• 5.4.3 中文 1-best 实验结果
• 5.4.4 中文 lattice 实验结果
• 第6章 总结与展望
• 参考文献
• 致谢
• 个人简历、在学期间发表的学术论文与研究成果