面向统计机器翻译的解码算法的研究

论文摘要

统计机器翻译发展到今天,其模型已经经历了词模型,短语模型,形式句法模型,树-串模型,串-树模型的变化,目前还有很多学者在尝试建立树-树模型。如此繁复多样的模型,其解码器也各不相同。本文主要描述了一种基于k-best句法分析技术的统一解码算法。我们通过对各种机器翻译模型进行改造,将它们归纳到同步上下文无关文法框架之下,利用一种对于单语k-best句法分析算法,对源语言端进行句法分析。由于同步方法的规则是双端的,所以目标语言端的分析树会随源语言端同步生成。我们利用对数线性模型融入多种特征,利用这些特征值的对数加权和作为同步上下文无关文法的规则得分,在对源语言端句法分析中,这些得分是随分析树的生成而累加的,因此我们可以根据最终在分析树的根节点中存储的得分最高的前k个推导,找出对源语言来说得分最高的k-best翻译结果。我们也介绍了目前主流的,针对短语模型的,基于有穷状态自动机的解码算法,并比较了它和统一解码算法在短语模型上的表现,实验证明,在使用同样短语模型的情况下,统一解码算法的表现和基于有穷状态自动机的解码算法的表现接近。此外,我们也利用统一解码器对多种模型进行了解码,实验证明,在相同的语料上训练模型,对于加入越多先验知识的模型,其解码效果越好。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题背景
• 1.2 统计机器翻译概述
• 1.3 统计机器翻译模型概述
• 1.3.1 建立于词方法基础上的统计机器翻译模型
• 1.3.2 基于短语的统计机器翻译模型
• 1.3.3 基于句法的统计机器翻译模型
• 1.4 本文研究内容及结构
• 第2章 统一解码算法及其在形式句法模型上的解码
• 2.1 引言
• 2.2 基于Parsing技术的统一解码算法
• 2.2.1 关于句法分析森林的一些定义
• 2.2.2 k-best句法分析算法
• 2.2.3 基于k-best句法分析的统一解码算法
• 2.3 基于形式句法的机器翻译模型
• 2.3.1 句法模型的优势
• 2.3.2 形式句法模型规则的抽取
• 2.3.3 形式句法模型规则分数的计算
• 2.4 形式句法模型的解码过程
• 2.4.1 形式句法模型解码采用的特征
• 2.4.2 融合语言模型的形式句法解码
• 2.5 实验及结果分析
• 2.5.1 小规模语料上的实验
• 2.5.2 大规模语料上的实验
• 2.5.3 实验结果分析
• 2.6 本章小结
• 第3章 面向短语模型的解码过程
• 3.1 引言
• 3.2 基于有穷状态自动机的解码系统
• 3.2.1 基于有穷状态自动机的解码器的工作流程
• 3.2.2 未来代价的引入
• 3.2.3 柱搜索算法和剪枝策略
• 3.2.4 最佳答案的搜索
• 3.3 短语模型上的同步句法分析
• 3.3.1 短语模型上的k-best句法分析
• 3.3.2 语言模型的融入
• 3.3.3 立方体剪枝
• 3.4 实验与结果分析
• 3.4.1 实验数据
• 3.4.2 实验结果
• 3.4.3 实验结果分析
• 3.5 本章小结
• 第4章 面向句法结构模型的解码过程
• 4.1 引言
• 4.2 句法结构模型模型的解码过程
• 4.2.1 关于句法结构模型的一些定义
• 4.2.2 句法结构模型的规则抽取
• 4.2.3 句法结构模型的解码
• 4.3 实验结果与分析
• 4.3.1 实验数据
• 4.3.2 实验结果
• 4.3.3 实验结果分析
• 4.4 本章小结
• 结论
• 参考文献
• 附录
• 攻读硕士学位期间发表的学术论文
• 致谢