基于知网的词对齐技术的研究

论文摘要

词对齐技术一直是机器翻译领域中的一项基础性研究。本文介绍了目前国内外关于词对齐技术的研究现状,阐述了几种具有代表性的词对齐方法,同时分析了它们的理论基础和算法特点。本文提出将词对齐分为短语过滤、词语完全匹配、相似度计算、语义计算和消歧等多级处理,在短语过滤中优先过滤出部分短语级对齐,降低词语对齐过程中歧义对齐的可能性,从而提高了词对齐的效果;通过对知网与同义词词林的比较,在语义计算中选择知网作为语义资源,对词对齐进行语义层面的扩展,获得更好的对齐效果;针对对齐过程中的歧义对齐现象,提出一种新的歧义分类方法,该方法不区分歧义对齐的形式,能清楚反映歧义对齐现象;提出一种基于锚点词对的通用的最优邻接锚点消歧算法,该算法与各级对齐交替进行,解决了各对齐环节产生的歧义对齐问题。基于上述理论成果,构建了基于知网的词对齐系统,并在标准评测语料中进行多种对齐方案组合的比较试验,对试验结果的分析比较均表明了基于知网的短语过滤、语义扩展和通用的消歧算法在词语对齐中的有效性。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题的提出及意义
• 1.2 本文的工作
• 1.3 论文的组织结构
• 第2章 研究方法综述
• 2.1 词对齐的定义
• 2.2 难点分析
• 2.3 现有研究方法
• 2.3.1 基于统计的词对齐方法
• 2.3.2 基于知识库的词对齐方法
• 2.3.3 语言学知识的运用
• 2.4 小结
• 第3章 基于知网的词对齐技术研究
• 3.1 知网简介
• 3.2 基于知网的词对齐系统设计
• 3.3 基本模块
• 3.3.1 预处理
• 3.3.2 短语过滤
• 3.3.3 词语完全匹配
• 3.3.4 词语相似度计算
• 3.4 基于知网的语义计算模块
• 3.4.1 知网和同义词词林的比较
• 3.4.2 基于语义计算的词对齐扩展
• 3.5 小结
• 第4章 词对齐消歧方法的研究
• 4.1 歧义现象分析
• 4.2 通用分类方法的提出
• 4.3 消歧算法的研究
• 4.4 最优邻接锚点消歧算法的相关概念
• 4.5 最优邻接锚点消歧算法描述
• 4.5.1 算法流程与步骤
• 4.5.2 算法示例分析
• 4.6 小结
• 第5章 汉英词对齐实验及结果分析
• 5.1 测试集及预处理
• 5.2 评价方法
• 5.3 阈值设定
• 5.4 组合模块对词对齐的影响
• 5.5 消歧算法在词对齐中的作用
• 5.6 问题分析
• 5.7 小结
• 结论
• 附录I 词对齐系统演示界面
• 参考文献
• 致谢
• 攻读硕士期间发表（含录用）的学术论文