基于可比较语料库双语多词表达式对抽取

论文摘要

多词表达式对抽取和对齐是自然语言处理学科中的一个重要课题。多词表达式对作为基础资源,广泛地应用于机器翻译、信息抽取以及信息检索等领域。本文挖掘的对象是可比较语料库,与通过人工翻译或者法规文件等而来的平行语料库相比,可比较语料库具有获取代价更低,资料来源更广泛等特点。通过对网络上的资源进行挖掘,构建成大规模、高质量的可比较语料库。但是可比较语料库源文档和目标文档之间的可挖掘信息和可利用资源更少,难度更大。因此,从可比较语料库中进一步挖掘出词级别的信息具有重要的研究意义和应用价值。本文叙述了可比较语料库的相关背景知识,以及可比较语料的特点,多词表达式的定义；接下来介绍了本文可比较语料库的来源,构建方法,文档预处理的方法,通过聚类算法提高同主题文档的数目。介绍抽取中英多词表达式的一些基本方法,然后提出本文中抽取中英多词表达式的方法,并用实验证明抽取的多词表达式是有效的。结合参考文献中中英词条对齐算法提出了本文的中英多词表达式对齐算法,最后本文提出一种修正算法对中文多词表达式候选翻译结果进行重排序。基于以上,构建一个从可比较语料库中自动化抽取多词表达式对的原型系统。在此系统上进行了三方面的实验（1）聚类实验；（2）中英多词表达式抽取实验；（3）中英多词表达式对齐实验。本文通过将聚类得到30对可比较的中英文文档。一共抽取出中文多词表达式对685条,英文多词表达式769条。其中对齐后Top-5,Top-10和Top-30分别达到了24.1%,37.9%,56.6%。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究背景
• 1.2 研究意义和研究现状
• 1.2.1 语料库
• 1.2.2 平行语料库
• 1.2.3 可比较语料库
• 1.2.4 多词表达式
• 1.3 研究内容与主要贡献
• 1.4 本章小结
• 1.5 本文的组织结构
• 2 可比较语料库构建和聚类概述
• 2.1 可比较语料库构建
• 2.1.1 可比较语料库相关介绍
• 2.1.2 采用可比较语料库的构建方法
• 2.1.3 构建的可比较语料库的特点
• 2.3 文档聚类
• 2.3.1 聚类的定义
• 2.3.2 文档聚类的原因
• 2.3.3 文档聚类原理
• 2.3.4 聚类的基本过程
• 2.3.5 文档聚类具体流程
• 2.3.6 文档聚类的结果
• 2.4 语多词表达对抽取的总体结构
• 2.5 本章小结
• 3 中英多词表达式抽取
• 3.1 中文多词表达式抽取
• 3.1.1 中文词条抽取的相关工作
• 3.1.2 中文多词表达式抽取的相关工作
• 3.1.3 中文多词表达式抽取的方法
• 3.2 英文多词表达式抽取
• 3.2.1 英文多词表达式抽取的相关工作
• 3.2.2 英文多词表达式抽取的方法
• 3.3 实验设计
• 3.3.1 实验数据
• 3.3.2 评价标准
• 3.3.3 实验结果
• 3.3.4 结果分析
• 3.4 本章小结
• 4 中英多词表达式对齐
• 4.1 中英多词表达式对齐的相关工作
• 4.2 本文的方法
• 4.2.1 本文多词表达式对齐的系统框架
• 4.2.2 模块描述
• 4.2.3 候选翻译多词表达式修正
• 4.3 本章小结
• 5 实验评估及分析
• 5.1 实验数据
• 5.2
• 5.2.1 测试样本
• 5.2.2 评价的标准
• 5.2.3 结果对比
• 结论
• 参考文献
• 攻读硕士学位期间发表学术论文情况
• 致谢