面向特定领域的统计机器翻译研究与应用

论文摘要

机器翻译是自然语言理解领域的难点和热点,在国际交流日益频繁的今天,机器翻译对多语言沟通交流具有重要意义,但其目前翻译的准确率却不尽人意。然而针对特定领域,特别是一些专业名词较多的技术性文档,通常词汇较为固定,句法较为简单,因而更加容易取得较好的效果,如天气预报,知识库等领域。本文对面向领域的统计机器翻译做了一系列研究和探讨,以医学领域具体研究对象,主要取得了以下几个方面的成果：融合领域规则模板的统计机器翻译方法。领域规则模板和领域平行语料库等相关领域资源是提高面向领域统的计机器翻译系统效果的重要基础和重要手段。本文以医学领域为研究对象,构建面向医学领域的统计机器翻译系统所需的领域规则库和领域资源,包括领域平行语料库,领域规则模板。提出领域规则模板扩展方法及模板匹配算法。并将这些提出模板匹配算法和领域资源融合进开放域统计机器翻译的系统,以实现面向领域的统计机器翻译系统。实验表明,在一定规模的领域平行语料库和领域规则模板的支持下,面向领域的统计机器翻译效果有较大幅度的提升。构建面向领域的依存语言模型并约束解码效果。针对医学领域建立依存语言模型,提出模型的参数训练方法,并将模型融入到统计机器翻译的解码阶段,对解码产生的NBEST候选翻译结果进一步约束,重新计算得分,调整NBEST候选翻译序列,以得到更好的最佳翻译提升翻译的正确率。最终实验结果表明提出的基于依存句法关系的语言模型可以在一定程度上提高汉-英统计机器翻译最佳翻译的正确率。利用上述研究成果,利用词法、句法分析、词语对齐等基础开源软件,并结合领域词典、领域模板等领域资源,搭建面向医学领域的统计机器翻译原型系统。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 引言
• 1.1 研究背景及意义
• 1.2 国内外研究现状
• 1.3 论文的研究内容和组织结构
• 1.4 论文的组织
• 第二章 统计机器翻译理论介绍
• 2.1 基于词的统计机器翻译系统
• 2.2 基于短语的统计机器翻译系统
• 2.3 基于句法的统计机器翻译
• 2.3.1 基于形式化句法的统计机器翻译
• 2.3.2 基于语言学句法的统计机器翻译
• 2.4 模型框架和特征函数
• 2.4.1 对数线性模型
• 2.4.2 特征函数
• 2.5 模型训练和解码
• 2.5.1 模板抽取
• 2.5.2 最小错误率训练算法
• 2.5.3 解码
• 2.5.4 机器翻译测评
• 2.6 统计机器翻译领域重要开源工具
• 2.6.1 第一个开源的统计机器翻译工具包
• 2.6.2 语言模型训练工具
• 2.6.3 机器翻译的自动评测工具
• 第三章 结合领域规则模板的统计翻译方法
• 3.1 研究背景
• 3.2 领域模板定义和扩展方法
• 3.2.1 句式模板定义
• 3.2.2 非句式模板
• 3.3 领域平行语料库
• 3.4 领域模板匹配算法
• 3.4.1 基于依存句法的统计机器翻译过程
• 3.4.2 模板匹配算法
• 3.5 实验结果和对比
• 3.5.1 BLEU值
• 3.5.2 实验结果与对比
• 第四章 融合领域依存语言模型的解码优化
• 4.1 研究背景和现状分析
• 4.2 结合领域文本的基于依存句法关系的语言模型构建方法
• 4.2.1 依存语法
• 4.2.2 统计语言模型
• 4.2.3 领域依存语言模型参数训练
• 4.2.4 融合领域依存语言模型的解码优化
• 4.3 实验结果及对比分析
• 第五章 面向医学领域统计机器翻译系统实现
• 5.1 系统背景
• 5.2 系统准备资源和工具
• 5.2.1 基础开源工具
• 5.2.2 领域规则模板及资源
• 5.3 系统实现
• 第六章 总结及下一步工作
• 6.1 结论
• 6.2 下一步工作
• 致谢
• 参考文献
• 附录A 攻读硕士期间发表的论文及申请软件的著作权