基于Web的未登录词翻译技术研究

论文摘要

未登录词（Out of Vocabulary,简写为OOV）的查询翻译是影响跨语言信息检索（Cross-Language Information Retrieval,简写为CLIR）性能的关键因素之一。它的翻译好坏直接影响着机器翻译、跨语言检索等自然语言处理技术的性能。本文充分利用丰富的网络资源来实现OOV的译文挖掘,主要结合维基百科和搜索引擎各自的优点实现。具体步骤包括:缩略语（Abbreviation）是一种常见的OOV文字形式,由于缩略语的歧义性,使得一项缩略语往往存在多种全称形式,因此缩略语的识别和全称提取对OOV的查询翻译至关重要,本文分别基于搜索引擎和维基百科来实现缩略语的全称提取。然后将查询词与维基百科中篇章的对齐情况粗略分为两种,分别是有目标链接的对齐和无目标链接的对齐,对于有目标链接对齐的词条,通过提取目标语言链接标题来完成OOV的翻译。对于无目标链接对齐的词条,本文通过搜索引擎来实现其译文的挖掘。首先,为了实现跨语言信息检索中查询词的有效扩展,获得高质量的双语摘要资源,基于维基百科中存在的源语言词条,通过提取该源语言词条对应篇章摘要中超链接的目标语言标题,作为跨语言的扩展词。其次,在目标缺失情况下,利用搜索引擎的反馈获取双语共现语境,然后基于共现特征的主题词译文的查询扩展方法,并通过二次词典翻译、以及基于OOV和扩展词融合后的查询构建和二次检索,获得高质量的双语摘要资源;最后,基于对数似然比（Log Likelihood Ratio,简写为LLR）值的归约层次聚类算法,实现候选多词单元的抽取,并与常用统计方法作比较,并综合利用频度-距离模型、表层模板匹配模型和音译模型,从候选翻译单元中选择最佳译文用于查询翻译。实验结果Top10取得了93.8%的正确率。

论文目录

• 摘要
• Abstract
• 第一章 引言
• 1.1 课题背景
• 1.2 相关工作
• 1.3 本文研究内容
• 1.4 语料
• 1.5 本文的论文结构
• 第二章 缩略语的识别和全称提取
• 2.1 基于搜索引擎的缩略语全称挖掘
• 2.1.1 缩略语全称候选的识别
• 2.1.2 过滤缩略语全称候选
• 2.2 基于维基百科的缩略语全称挖掘
• 2.2.1 无歧义页
• 2.2.2 检索结果页
• 2.2.3 可链接到无歧义页
• 2.2.4 文章页
• 2.3 实验结果及分析
• 2.4 本章小结
• 第三章 维基百科中OOV 译文挖掘
• 3.1 维基百科的篇章结构和语言特性
• 3.2 目标存在环境下的OOV 译文挖掘
• 3.3 实验及分析
• 3.4 本章小结
• 第四章 搜索引擎中OOV 译文挖掘
• 4.1 双语摘要资源获取
• 4.1.1 目标缺失环境
• 4.1.2 基于搜索引擎的跨语言扩展
• 4.1.3 基于维基百科的跨语言扩展
• 4.2 候选多词单元的提取
• 4.2.1 汉语自动分词
• 4.2.2 常用基于统计多词单元抽取方法
• 4.2.3 基于LLR 值的层次归约算法
• 4.3 最佳译文的选择
• 4.3.1 频度-距离模型
• 4.3.2 表层模板匹配模型
• 4.3.3 音译模型
• 4.3.4 混合译文挖掘模型
• 4.4 实验结果及分析
• 4.4.1 查询词扩展实验结果及分析
• 4.4.2 多词单元抽取实验结果及分析
• 4.4.3 最佳译文选择模型实验结果及分析
• 4.4.4 信息资源的适用性对比实验
• 4.5 本章小结
• 第五章 总结与展望
• 5.1 总结
• 5.2 展望
• 参考文献
• 攻读学位期间公开发表的论文
• 致谢