基于Sphinx的汉语连续语音识别

论文摘要

汉语连续语音识别拥有可观的应用前景和深远的研究价值。汉语的发音短、混淆性高、方言多等特性,使得汉语连续语音识别比英语连续语音识别难度更大,成为目前语音识别领域研究的热点和难点问题。本文在卡内基梅隆大学开发的Sphinx语音识别系统的基础上,结合汉语发音特点对中等词汇量、非特定人的汉语连续语音识别系统进行了基础性的研究。汉语连续语音识别实质上是在汉语的声学、语言学等多层知识定义的状态空间内搜索最符合语音输入的词序列,需要涉及到特征提取,声学模型、语言模型、搜索算法等方面的知识和技术。Sphinx系统代表着连续语音识别的较高水平,本文正是借鉴了其先进的技术,结合汉语发音的特点构建了汉语连续语音识别系统。语音的声学模型和识别理论是构建语音识别系统的基础。完整的连续语音识别系统主要包括四个部分:特征提取,声学模型,语言模型和搜索算法,本文就是根据这四个部分展开的。本文首先介绍了汉语连续语音识别的发展历史和相关理论知识,接着按照语音识别系统的处理步骤详细地分析了各个过程,重点对MFCC特征提取做了详细的分析。在深入研究Sphinx系统中声学模型训练工具Sphinxtrain和语言模型训练工具Cmucmltk代码的基础上,通过修改相关参数,训练了适合汉语识别的声学模型和语言模型。模型训练完成之后研究解码端Viterbi搜索算法,结合识别引擎Pocketsphinx实现了汉语连续语音识别系统的构建。文章最后通过实验和数据分析,验证了系统的有效性。本文主要进行了两个系统的设计:首先以CASIA汉语数字串语音库训练声学模型和语言模型,构建了汉语连续数字识别系统,该系统句子识别率达到了90%,词识别率高达97.2%;其次以CASIA98-99语音测试库训练声学模型和语言模型,建立了一个中等词汇量的汉语连续语音识别系统,该系统性能较之前者识别性能欠佳,句识别率为70%,词识别率为96.7%。全部数据显示了系统的有效性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 语音识别概述
• 1.1.1 语音识别的发展历史与现状
• 1.1.2 国内语音识别的发展历史与现状
• 1.1.3 连续语音识别的难点
• 1.1.4 语音识别的分类
• 1.2 语音识别与其他学科的关系
• 1.3 语音识别关键技术
• 1.4 论文由来
• 1.4.1 课题研究目的和意义
• 1.4.2 论文结构安排
• 第二章 Sphinx 语音识别系统
• 2.1 Sphinx 语音识别引擎简介
• 2.2 Sphinx 语音识别介绍
• 2.3 特征提取
• 2.3.1 音频信号格式
• 2.3.2 预加重
• 2.3.3 分帧加窗
• 2.3.4 快速傅里叶变换（FFT）
• 2.3.5 Mel 频率滤波器组
• 2.3.6 对数变换和DCT
• 2.4 声学模型
• 2.4.1 概述
• 2.4.2 汉语语音特性
• 2.4.3 上下文相关音素模型
• 2.5 语言模型
• 2.6 解码器
• 2.7 小结
• 第三章 基于SphinxTrain 的声学模型训练
• 3.1 HMM 的基本概念
• 3.2 HMM 的三个基本问题及其解决方案
• 3.2.1 识别问题的解决方案
• 3.2.2 路径问题的解决方案
• 3.2.3 模型问题的解决方案
• 3.3 HMM 的分类
• 3.4 SphinxTrain 简介
• 3.5 声学模型的训练
• 3.5.1 数据准备
• 3.5.2 矢量量化
• 3.5.3 训练CI 模型
• 3.5.4 训练未聚类的CD 模型
• 3.5.5 决策树的建立
• 3.5.6 训练聚类的CD 模型
• 3.5.7 删除插值
• 3.6 小结
• 第四章 汉语连续语音识别系统的构建和实现
• 4.1 连续语音识别系统构建
• 4.1.1 语音库介绍
• 4.1.2 特征提取
• 4.1.3 声学模型训练
• 4.1.4 语言模型训练
• 4.1.5 解码器
• 4.1.6 实验环境及识别结果的计算
• 4.2 基于Sphinx 的汉语连续数字识别
• 4.2.1 语音库的选择
• 4.2.2 特征提取
• 4.2.3 声学模型和语言模型的训练
• 4.2.4 实验结果及性能分析
• 4.3 基于Sphinx 的汉语连续语音识别
• 4.3.1 语音库的选择
• 4.3.2 特征提取
• 4.3.3 声学模型和语言模型的训练
• 4.3.4 实验结果及性能分析
• 4.4 小结
• 第五章 总结与展望
• 5.1 课题工作的总结
• 5.2 展望
• 参考文献
• 致谢
• 研究生期间发表的论文