基于WEB的双语翻译对抽取方法研究

论文摘要

命名实体、术语的翻译对自然语言处理,机器翻译性能的影响越来越重要。在机器翻译领域,双语翻译词典是重要的翻译资源,但是传统的基于词典的方法很难提供大量的,实时的术语的翻译。为了取得足够好的翻译质量,前人提出了一系列自动抽取双语翻译对的方法,但早期的方法主要是从平行语料中进行抽取,这类方法存在规模不足、领域局限、不能很好的处理未登录词等问题。随着互联网的飞速发展,越来越多的双语甚至多语页面大量出现,这些页面语种不同但是表达的内容却大致相同,搜集这些页面就可形成当前比较流行的“可比较语料”。基于互联网的可比较语料包含的双语翻译对覆盖面非常广泛,从这种语料中抽取双语翻译对己成为当今信息抽取领域里的一个研究热点。本文提出的从大规模网页中抽取双语翻译对的方法是基于可比较语料的。首先从大规模的可比较语料中抽取符合匹配模式的插入语候选项,然后从得到的插入语候选项中抽取候选互译对,再利用IBM翻译模型的词对齐模型得到正确的双语三元组,从而得到最终的翻译对。实验结果显示,运用本文提出方法实现的系统,得到的翻译元组的准确率能达到95.6%。此外,本文针对IBM词对齐模型的一些缺陷,利用基于对齐语料和启发知识的词对齐技术让翻译元组的抽取的准确率最终提高到96.7%,该结果表明对齐的双语语料和可比较双语语料在研究上存在互补作用。通过本文介绍的方法,可比较语料可以补充转化为平行语料,为自然语言处理提供更多的研究资源。

论文目录

• 中文摘要
• Abstract
• 第一章 引言
• 1.1 研究背景
• 1.2 研究意义
• 1.3 研究的历史与现状
• 1.3.1 研究历史
• 1.3.2 研究现状
• 1.4 本文的工作
• 1.5 论文组织结构
• 第二章 相关原理介绍
• 2.1 任务分析
• 2.2 总体流程
• 2.3 相关知识与模型
• 2.3.1 支持向量机
• 2.3.2 IBM 翻译模型
• 2.3.3 网页下载程序
• 2.3.4 中文分词
• 2.4 本章小节
• 第三章 基于WEB 的双语翻译对抽取
• 3.1 插入语及其英文翻译项的获取
• 3.1.1 插入语的定义和识别
• 3.1.2 插入语的选择
• 3.1.3 插入语及其英文翻译对的获取
• 3.2 双语翻译元组的获取
• 3.2.1 元组的界定
• 3.2.2 双语翻译元组抽取的实现方法
• 3.3 本章小节
• 第四章 元组获取方法的改进与提高
• 4.1 基于互信息和启发知识的双语词对齐
• 4.1.1 双语词对齐对系统的影响
• 4.1.2 词对齐的常用方法
• 4.1.3 基于互信息的词对齐
• 4.2 转换词表的自动生成
• 4.3 本章小结
• 第五章 实验结果及分析
• 5.1 双语翻译元组抽取实验及结果分析
• 5.1.1 候选翻译对实验结果及分析
• 5.1.2 双语翻译元组的实验及分析
• 5.2 基于启发知识的双语词对齐实验及分析
• 5.3 改进方法后的实验结果
• 5.4 本章小结
• 第六章 总结与展望
• 6.1 总结
• 6.2 展望
• 参考文献
• 攻读学位期间公开发表的论文
• 致谢