汉蒙词法分析及其在统计机器翻译中的应用

论文摘要

词法分析是自然语言处理的一个基础性研究,词法分析的正确率将直接影响到后续自然语言处理(如:机器翻译)的性能。本文构建了统计模型,对汉语和蒙古语进行了切词和词性标注处理。在此基础上,将汉蒙词法形态信息融入到了汉蒙统计机器翻译系统,并在双语对齐的平行语料库上进行了实验,改善了译文的质量,验证了词法分析对于汉蒙机器翻译的重要性。本文系统地介绍了条件随机场模型的定义、图结构、势函数、模型训练及解码算法;并简化了条件随机场模型的图结构、设计了特征函数、改进了解码算法;将改进后的模型应用到了汉语和蒙古语的词法分析工作中。本文提出了一种局部歧义词网格与条件随机场相结合的汉语分词模型。首先,在低层使用局部歧义词网格对文本粗切分,并将切分结果作为一项特征提供给高层的CRFs模型;然后,在高层使用条件随机场对文本进行字标注。在SIGHAN2005提供的PKU和MSRA分词语料上进行了测试,取得了较高的切分结果。我们还构建了能够融合更多上下文信息的汉语词性标注模型。本文针对蒙古语通过词干后缀接不同词尾来实现形态变化的语言特点,首先构建了基于最小描述距离的统计模型,用于蒙古语词形切分;并在此基础上建立了一个双层的蒙古语词性标注模型,该模型把低层的切分结果作为一项特征提供给高层的条件随机场模型去学习。在内蒙古大学提供的语料上进行了训练和测试,取得了较高的标注结果。本文将汉语和蒙古语的词法信息作为因子融合到统计机器翻译系统中,建立了源语言因子到目标语言因子的多个翻译路径;使用了多个基于词法因子的语言模型评价翻译结果;建立了从目标语言翻译因子到表面词形的生成模型。弥补了统计模型对汉语、蒙古语词法信息利用与表达能力不足的问题;提高了统计机器翻译的译文质量。

论文目录

• 摘要
• ABSTRACT
• 目录
• 第一章 绪论
• 1.1 本文研究背景及意义
• 1.2 词法分析概述
• 1.2.1 词法分析的主要研究内容
• 1.2.2 词形切分
• 1.2.3 词性标注
• 1.3 本文的研究工作
• 1.4 论文结构框架
• 第二章 基于条件随机场的词法分析模型
• 2.1 条件随机场
• 2.1.1 条件随机场的图结构
• 2.1.2 条件随机场势函数
• 2.1.3 模型训练
• 2.2 词法分析下的条件随机场改进
• 2.2.1 条件随机场结构的改进
• 2.2.2 条件随机场特征选择
• 2.2.3 解码算法的改进
• 第三章 汉语词法分析
• 3.1 局部歧义词网格分词算法
• 3.1.1 局部歧义词网格
• 3.1.2 算法描述
• 3.2 基于条件随机场的双层分词模型
• 3.2.1 系统实现
• 3.2.2 标注集
• 3.3 分词实验与分析
• 3.3.1 评测标准与语料
• 3.3.2 实验设计
• 3.3.3 实验分析
• 3.4 基于条件随机场的汉语词性标注方法
• 3.4.1 词性标注集的选择
• 3.4.2 实验语料
• 3.4.3 实验设计与结果分析
• 第四章 蒙古语词法分析
• 4.1 蒙古语词形分析
• 4.1.1 词形分析常见算法
• 4.1.2 基于最小描述长度的词形切分
• 4.1.3 算法描述
• 4.1.4 实验设计与结果分析
• 4.2 蒙古语词性标注
• 4.2.1 形态标注具体流程
• 4.2.2 标注集合
• 4.2.3 实验与分析
• 第五章 融入词法信息的汉蒙统计机器翻译
• 5.1 机器翻译概述
• 5.1.1 基于规则的机器翻译
• 5.1.2 基于实例的机器翻译
• 5.1.3 基于统计的机器翻译
• 5.2 汉蒙机器翻译
• 5.3 融合词法信息的Factored模型
• 5.3.1 Factored翻译模型定义
• 5.3.2 Factored语言模型
• 5.3.3 Factored模型训练与解码
• 5.4 对比实验与分析
• 5.4.1 实验语料与评测标准
• 5.4.2 实验设计与分析
• 第六章 总结与展望
• 6.1 总结
• 6.2 研究展望
• 参考文献
• 致谢
• 在读期间发表的学术论文与取得的研究成果