统计与语言学相结合的词对齐及相关融合策略研究

论文摘要

随着互联网的迅猛发展和信息的国际化,对于不同语言文本内容的理解和传播成为了人们的强烈需求。机器翻译这个古老的课题在这样的背景下重新焕发了生机。词对齐作为统计机器翻译的中间结果,除了在机器翻译中占有重要地位外,在词义消歧等自然语言处理应用领域都有着广泛的应用价值。传统基于统计学的词对齐方法在语料规模方面有着较高的要求,在小规模语料资源上如何解决数据稀疏,进而提高对齐的正确率成为词对齐研究的重点。本文提出了统计和语言学知识相结合及利用相关策略融合的方法来解决这些问题。我们采用了基于信源信道统计机器翻译的对齐模型,结合双语词典、规则和句法结构特征等语言学知识,利用位置信息和词性信息作为过滤条件,分别从增加置信度高的对齐词对、删除错误对齐词对、改进未对齐和多个相同词汇对齐消歧等方面改进了词对齐的质量。其中结合双语词典和句法结构特征的方法分别在准确率和召回率方面有所提高,基于规则的方法在各方面表现优异,达到了0.2503的最低词对齐错误率。此外,我们引入集成学习的观点,将多个词对齐模型作为独立的分类器利用简单和加权的投票策略对分类器进行集成。实验数据表明,融合策略在词对齐准确率方面相对于单纯的基于统计的方法有着不同程度的提高。加权投票策略达到了最高的召回率和最低的错误对齐率,较基准分别提高了17.22%,降低了36.47%。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题背景与意义
• 1.2 词对齐的主要研究内容及研究现状
• 1.2.1 词对齐的主要研究内容
• 1.2.2 国内外研究现状
• 1.3 本文主要研究内容
• 第2章 基于统计的词对齐及拟合方法的实现
• 2.1 基于信源信道模型的词对齐
• 2.2 模型训练工具
• 2.3 拟合方式实现
• 2.4 实验结果与分析
• 2.4.1 语料与评价方法
• 2.4.2 分析与讨论
• 2.5 本章小结
• 第3章 结合词法、规则及句法结构特征的词对齐
• 3.1 结合双语词典的词对齐
• 3.1.1 人工双语词典
• 3.1.2 利用词对齐结果自动构建词典
• 3.1.3 人工与自动双语词典结合
• 3.2 结合规则的词对齐
• 3.2.1 词性标注简介
• 3.2.2 位置信息
• 3.2.3 规则制定
• 3.3 结合句法结构特征的词对齐
• 3.3.1 句法分析简介
• 3.3.2 结合依存句法的词对齐
• 3.4 实验结果与分析
• 3.5 本章小结
• 第4章 词对齐融合策略
• 4.1 词对齐融合基本思想
• 4.2 多分类器投票融合
• 4.2.1 简单投票融合
• 4.2.2 加权投票融合
• 4.3 实验结果与分析
• 4.4 本章小结
• 结论
• 参考文献
• 致谢