会议语音的混响消除及其在词汇量连续语音识别的研究

论文摘要

语音识别技术的应用前景是无限的。应用语音的自动理解和翻译,可以消除人类相互交往的语言障碍。随着Internet网的爆炸性扩张,电子商务的迅速发展,语音识别技术将为网上会议、商业管理、医药卫生、教育培训等各领域带来极大的便利。随着近代计算机技术的飞速发展,大词汇量连续语音识别系统已经取得了较高的识别准确率,语料库的选择也由干净、单一的实验室环境下语料转为混杂着噪音、混响复杂环境下的语料。真实环境下的语音识别成为研究的热点。论文围绕美国加州伯克利大学ICSI研究所提供的会议语料库,分析了影响识别率的三个原因:噪音、混响、说话人重叠。通过研究,旨在应用各种算法提高ICSI会议语料库的基线识别率。论文首先对语音识别系统的结构、语音模型、语言模型进行描述,然后分析了混响信号和混响模型,陈述了消除混响的基本方法,接着描述了ICSI语料库的构造和特点,最后分别提出了三种算法来消除噪音、混响和说话人重叠并且进行了实验。对ICSI数字语料库进行识别时通过减谱法和长时减谱增强语音后,识别率由64%上升到91%。在对ICSI会议语料库进行识别时,根据上述的两种方法加上说话人检测消除说话人重叠技术,识别率提高了30%。本文结合了信号处理和语音识别两项技术,其创新性在于:通过混响模型定义,提出后混响方差估计与减谱法结合的算法以达到消除混响和噪音的双重目的;并且根据互相关系数,检测重叠说话人的主导说话人,从而对语料库进行修改,以达到消除重叠说话人语音对语音模型训练的影响。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 引言
• 1.2 语音识别发展现状
• 1.3 语音识别分类
• 1.3.1 从识别的词汇量分
• 1.3.2 从识别的对象来分
• 1.3.3 从识别基本单元来分
• 1.4 语音识别面临的困难
• 1.5 本文的安排
• 第二章 语音识别基本理论
• 2.1 引言
• 2.2 语音识别系统构结构和特征提取
• 2.2.1 语音识别系统构成
• 2.2.2 语音特征提取
• 2.3 HMM模型基本概念
• 2.3.1 HMM模型
• 2.3.2 HMM中的3个基本问题及其解决方案
• 2.4 语言模型
• 2.5 小结
• 第三章 混响和混响模型的定义
• 3.1 引言
• 3.2 混响的产生和影响
• 3.3 混响时间和混响能量比
• 3.4 房间混响模型
• 3.5 混响消除或抑制方法综述
• 3.5.1 从信源方面考虑语音去混响
• 3.5.2 从信道方面考虑语音去混响
• 3.5.3 从信号采集方面提高语音去混响
• 3.5.4 从信号处理方面考虑语音去混响
• 3.6 小结
• 第四章 ICS语料库描述
• 4.1 引言
• 4.2 ICSI会议语料库环境描述
• 4.3 会议内容和参与者
• 4.4 数字语料库
• 4.5 房间混响时间RT60和远近端能量比值G估计
• 4.6 ICSI文本集
• 4.7 影响识别率的因素
• 4.8 小结
• 第五章 语音去噪音和混响算法
• 5.1 引言
• 5.2 房间混响模型算法
• 5.3 混响信号相关性
• 5.4 单麦克风减谱法去噪音和混响原理
• 5.5 最优修正对数谱幅度估计(OM-LSA,Optimally-Modified Log spectral Amplitude Estimator
• 5.6 后混响谱方差估计（Late Reverberant Sperctral Variance Estimator）
• 5.7 长时对数能量减谱法（LTLSS,Long Term Log Spectral Subtraction）
• 5.8 实验和结论
• 5.8.1 语音增强实验
• 5.8.2 语音识别实验
• 5.9 小结
• 第六章 重叠语音下主导说话人检测技术
• 6.1 引言
• 6.2 说话人重叠描述
• 6.3 基于互相关系数的主说话人检测方法
• 6.4 ICSI语料库训练集重叠语音的处理
• 6.4.1 说话人重叠统计
• 6.4.2 互相关系数求主导说话人
• 6.4.3 时间段合并和平滑
• 6.3.4 修改远端语音标注文件
• 6.4 实验和结论
• 6.4.1 基线识别率
• 6.4.2 通过OM-LSA估计减谱法和长时减谱后的识别结果
• 6.4.3 话人重叠删除和主说话人检测的识别结果结果
• 6.5 小结
• 第七章 结论与展望
• 参考文献
• 致谢