基于音节网格的汉语语音文档检索方法研究

论文摘要

随着计算机技术和多媒体技术的发展,被人们记录并保存在计算机中的语音数据越来越多。为了更高效地访问、管理和利用这些语音资源,必须实现基于语义内容的语音文档检索技术。所谓语音文档检索是指,根据用户输入的查询请求,在语音资源中搜索和返回与之相关联的语音段或语音文档的处理过程。语音文档检索技术与语音识别技术紧密相关,它总是利用语音识别技术为资源库建立语义层级的索引。然而,语音识别结果中普遍存在的较高的错误率和对词表外词的误识等问题也直接困扰着检索性能,研究者不得不求助于子词网格（Lattice）形式的语音识别结果,通过子词规避词表外词问题,通过Lattice这种多候选形式向检索者提供更准确的索引内容。在汉语语音文档检索研究中,采用基于音节Lattice的检索技术,业已成为了研究者们的共识。语音文档检索是一个未成熟的且极具潜力的研究领域,还存在很多问题需要解决。其中的一个核心问题就在于,Lattice并不是一个易于索引的数据形式,它的有向图结构,以及正确信息与错误信息相混杂的特点,不但直接导致了传统的检索方法性能不佳,而且也需要较大的存储开销和搜索时间。因而,研究适合音节Lattice特点的,且能够同时兼顾检索精度、索引尺寸、检索速度三方面性能指标要求的汉语语音文档检索方法,就有着非常重要的理论意义和实用价值。本文针对音节Lattice的特点,首先研究了三种实现机理不同、性能各有侧重的汉语语音文档检索方法,然后针对Lattice识别结果的错误率下界制约检索精度进一步提高的问题,研究了两种能够改善Lattice错误率下界的有效方法。论文的具体研究内容如下:1)提出了依赖词检出实现的语音文档检索方法,直接保存音节Lattice作为索引,并采用词检出技术来实现检索任务。提出了置信测度和发生频次相结合的相关度计算方法,提出了将传统的词检出技术拆分为离线和在线两个阶段的分解方案,从而提高了在线阶段的检索速度。该方法取得较好的检索精度,其值相当接近于在Lattice的最优候选上所得到的检索精度,但由于必须存储和搜索Lattice索引,因而索引尺寸和检索速度指标都还需要进一步的提升。针对Lattice索引尺寸较大,冗余较多的现象,提出了基于音节后验概率直方图的Lattice有效成分分析方法,研究了保留有效成分去除冗余成分的索引去冗余方法。实验结果表明,该方法能够以检索精度小幅度的下降为代价,大规模的去除索引中的冗余信息。2)提出了基于音节倒排索引的语音文档检索方法,利用倒排索引形式的特点,在保留音节Lattice主要内容的前提下,有效缩减索引尺寸。研究了通过放松匹配过程中的路径约束条件来提高检索精度的匹配机制,提出了两种有效的匹配机制:时间匹配机制和位置匹配机制。在采用位置匹配机制的检索方法中,将音节Lattice解释为具有特定位置标号的若干竞争集的级联,给出了相应的搜索匹配方法,以及匹配路径处于特定位置的后验概率值的计算方法。研究了根据音节候选在其竞争集中的名次来修正文档相关度的加权方法。实验结果表明,两种匹配机制都使检索精度有小幅度的提升,其中位置匹配机制提升更明显,且名次加权方法又进一步提高了该检索精度。提出了能够灵活控制检索速度的基于后验概率门限的剪枝方法。3)提出基于邻接音节后验概率矩阵的语音文档检索方法,旨在通过建立文档层级的索引,大规模地提升索引尺寸和检索速度指标,为实现面向大规模语音资源库的检索系统创造条件。提出了K步邻接音节对的概念,以刻画索引中音节间长距离的关联性,利用Lattice的邻接后验概率矩阵来表示Lattice的内容,进而综合各Lattice的邻接矩阵,计算邻接音节对在语音文档中的后验概率值,存储语音文档的邻接音节后验概率矩阵作为文档级索引。实验结果表明,虽然检索精度有5%左右的下降,但索引尺寸和检索速度指标都基本达到了文本检索技术的水平。研究了利用语音中韵律信息来修正文档相关度的方法,初步尝试了三种韵律加权方法。其中能量加权方法最有效,检索精度提升了约2.7%。4)分析了制约检索精度的根本原因。提出了两种基于更低Lattice错误率下界的检索精度提高方法:一种是基于扩充Lattice的方法,另一种是基于词片语言模型的方法。前者在语音识别技术的框架之外,通过建立识别结果和识别错误之间关联关系的统计模型,并基于Dempster-Shafe证据理论,估计特定音节被识别器遗漏的概率,研究了扩充Lattice的生成方法。实验结果表明,扩充Lattice相比于原始Lattice,错误率下界下降了1.7%,检索精度提高了约4%。后者在语音识别框架内部,通过引入词片基元来改善语音识别结果的准确性,讨论了词片的概念,研究了基于最大互信息准则的词片自动选择算法,通过实验证明了引入词片有助于改善语音识别系统的识别率和检索系统的检索精度。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究目的和意义
• 1.2 国内外研究现状
• 1.2.1 语音文档检索技术的分类
• 1.2.2 基于子词Lattice的检索方法
• 1.2.3 汉语语音文档检索
• 1.3 本文的主要研究内容
• 第2章 汉语语音文档检索研究平台
• 2.1 语料库
• 2.2 语音识别系统
• 2.2.1 语音识别技术概述
• 2.2.2 音节识别器
• 2.2.3 音节识别器的识别性能
• 2.3 汉语语音文档检索基线系统
• 2.3.1 信息检索概述
• 2.3.2 基线系统的设计
• 2.3.3 基线系统的性能
• 2.4 本章小结
• 第3章 依赖词检出实现的语音文档检索方法
• 3.1 引言
• 3.2 音节Lattice的若干定义及性质
• 3.3 依赖词检出实现的检索方法
• 3.3.1 文档相关度的计算
• 3.3.2 词检出算法的分解
• 3.3.3 检索系统的构成
• 3.4 索引去冗余方法
• 3.4.1 基于音节后验概率直方图的索引有效成分分析
• 3.4.2 去冗余算法
• 3.5 实验及分析
• 3.5.1 与基线系统检索性能的比较
• 3.5.2 在不同尺寸的Lattice上的检索性能比较
• 3.5.3 与最优候选上的检索性能的比较
• 3.5.4 文档长度和查询词长度对检索性能的影响
• 3.5.5 索引去冗余实验
• 3.6 本章小结
• 第4章 基于音节倒排索引的语音文档检索方法
• 4.1 引言
• 4.2 倒排索引结构
• 4.3 采用时间匹配机制的检索方法
• 4.3.1 索引结构
• 4.3.2 查询词搜索算法
• 4.3.3 相关度计算
• 4.3.4 算法时间复杂度分析
• 4.3.5 时间尺度上松弛的匹配策略
• 4.3.6 基于后验概率的剪枝方法
• 4.4 采用位置匹配机制的检索方法
• 4.4.1 匹配路径的特定位置后验概率
• 4.4.2 索引建立
• 4.4.3 查询词搜索算法
• 4.4.4 相关度计算
• 4.4.5 算法的计算开销比较
• 4.4.6 rank加权
• 4.5 实验及分析
• 4.5.1 基于音节倒排索引的检索方法的性能
• 4.5.2 时间松弛匹配策略的有效性
• 4.5.3 剪枝方法的有效性
• 4.5.4 rank加权方法的有效性
• 4.6 本章小结
• 第5章 基于邻接音节后验概率矩阵的检索方法
• 5.1 引言
• 5.2 语音文档的表示
• 5.3 Lattice的邻接音节后验概率矩阵
• 5.3.1 Lattice的邻接后验概率矩阵
• 5.3.2 Lattice的邻接音节后验概率矩阵
• 5.3.3 K步邻接音节对
• 5.3.4 Lattice的K步邻接音节后验概率矩阵
• 5.4 语音文档的邻接音节后验概率矩阵
• 5.5 检索方法描述
• 5.5.1 索引结构
• 5.5.2 在线检索
• 5.6 韵律加权
• 5.7 实验及分析
• 5.7.1 整体性能分析
• 5.7.2 查询词长度对检索性能的影响
• 5.7.3 K步邻接音节对的有效性
• 5.7.4 韵律加权的有效性
• 5.8 本章小结
• 第6章 基于更低Lattice错误率下界的检索精度提高方法
• 6.1 引言
• 6.2 基于扩充Lattice的检索精度提高方法
• 6.2.1 Dempster-Shafe证据理论概述
• 6.2.2 最优候选中的识别错误表示
• 6.2.3 音节被识别器遗漏的概率
• 6.2.4 替换错误建模
• 6.2.5 应用证据理论实现替换错误的概率估计
• 6.2.6 基于局部路径的简化
• 6.2.7 基于扩充Lattice的检索精度提高方法描述
• 6.2.8 实验及分析
• 6.3 基于词片语言模型的语音检索精度提高方法
• 6.3.1 词片
• 6.3.2 基于互信息的词片选择算法
• 6.3.3 基于词片的语言模型
• 6.3.4 采用词片识别器的语音检索方法
• 6.3.5 实验结果与分析
• 6.4 本章小结
• 结论
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢
• 个人简历