基于短语的对数线性模型的统计机器翻译方法与系统实现

论文摘要

统计机器翻译是一种完全基于数据驱动的机器翻译方法,相比其它方法能更高效和客观地构建翻译系统,而且随着当前计算机可读语料的飞速膨胀和计算机运算性能的极大提升,统计机器翻译已经成为机器翻译研究领域的热点和前沿。作为统计机器翻译研究的重点,不同的翻译方法一直是决定翻译效果的关键因素。基于此认识,本文进行了基于短语的对数线性模型的统计机器翻译方法的研究并实现了一个基于该方法的翻译系统,在实验和专利翻译的应用中取得到了较好的翻译效果。本文的主要工作是:短语对齐模型和N-gram统计语言模型的研究和分析,其中包括词对齐及其生成短语对齐模型的计算方法、N-gram统计语言模型的计算和回退方法;基于短语的对数线性模型的原理分析,在其基础上提出了一种多模型的特征组合方式,包括正反向对齐模型和多个语言模型的融合,实验结果证明了这种组合的有效性;基于柱搜索算法的翻译流程的研究,包括对短语翻译候选项的生成、未来概率计算、搜索和剪枝以及译文生成等算法的深入分析,并基于该流程设计实现了一个模块化、可移植、可定制且构造代价小的翻译系统,在实验和应用中均取得了不错的效果;另外,针对一般翻译系统采用内存方式组织短语翻译表带来的问题,提出了一种采用文件索引形式的存储策略,能大大降低系统对使用环境的需求,合理分配计算资源。基于短语的对数线性模型的统计机器翻译方法研究及其系统的实现涉及到统计机器翻译的各个环节,本文在模型和算法方面的探索也证明了该方法的有效性。最后,本文阐述了对统计机器翻译发展和趋势的思考,提出了未来统计机器翻译的应用及其与语言学知识的融合的目标。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景
• 1.2 机器翻译的发展历程和研究现状
• 1.3 机器翻译的方法论概述
• 1.3.1 基于理性主义的方法
• 1.3.2 基于经验主义的方法
• 1.4 课题的提出
• 1.5 论文结构
• 第2章 统计机器翻译方法
• 2.1 统计机器翻译概述
• 2.1.1 统计机器翻译及其发展简述
• 2.1.2 统计机器翻译的特点
• 2.1.3 统计机器翻译的过程
• 2.2 统计机器翻译模型
• 2.2.1 噪声通道模型
• 2.2.2 对数线性模型
• 2.3 小结
• 第3章 基于短语的对数线性模型
• 3.1 基于短语的对齐模型
• 3.1.1 词对齐模型
• 3.1.2 短语对齐模型
• 3.2 N-gram 统计语言模型
• 3.2.1 N-gram 统计语言模型的数学描述
• 3.2.2 N-gram 统计语言模型的平滑
• 3.3 基于短语的对数线性模型
• 3.4 小结
• 第4章 系统的设计和实现
• 4.1 翻译流程概述
• 4.2 翻译候选项的生成（translation options generation）
• 4.3 未来代价计算（future cost estimates）
• 4.4 柱搜索（beam search）
• 4.4.1 核心算法（core algorithm）
• 4.4.2 合并（recombination）剪枝
• 4.4.3 柱状图（histogram）剪枝
• 4.5 译文的生成
• 4.6 其它数值模型的使用
• 4.6.1 调序模型（distortion model）
• 4.6.2 长度惩罚模型（length model）
• 4.7 基于文件索引存储的对齐模型
• 4.8 系统的实现
• 4.8.1 系统特性
• 4.8.2 特征模型的使用
• 4.8.3 系统的使用
• 4.9 小结
• 第5章 实验结果评价和应用分析
• 5.1 评价指标
• 5.2 实验条件
• 5.2.1 训练数据
• 5.2.2 实验数据
• 5.2.3 对比测试系统
• 5.2.4 系统运行环境
• 5.3 实验结果
• 5.3.1 预处理对翻译结果的影响
• 5.3.2 特征模型及其参数对翻译结果的影响
• 5.3.3 系统运行参数对翻译结果的影响
• 5.3.4 文件索引形式的对齐模型对系统的性能影响
• 5.4 系统在专利翻译中的应用
• 5.5 小结
• 结束语
• 参考文献
• 致谢
• 攻读硕士期间发表（含录用）的学术论文