跨语言词汇语义相似度计算研究

论文摘要

跨语言词汇语义相似度反映的是来自不同语言的词语之间的语义相似程度,它是跨语言信息获取系统的一个基本组成部分。随着近年来网络上多语言资源的增多,跨语言词汇语义相似度计算的研究逐渐得到了重视。本文致力于中英文词汇语义相似度的研究,证明了HowNet可以用于跨语言词汇语义相似度计算,并且平行语料库中的共现信息对跨语言词汇语义相似度计算的性能有较好的提升作用。本文的跨语言词汇语义相似度计算方法以HowNet作为跨语言知识库,基于HowNet的跨语言词汇语义相似度计算方法与单语词汇语义相似度计算方法类似,以HowNet中的概念定义和义原的树形层次结构作为计算基础,通过把中英文词语转化为义原形式,之后计算义原以及词语之间的语义相似度。评测结果表明HowNet可用于跨语言词汇语义相似度计算,但是HowNet中的一些词语的定义不够准确,对算法的性能产生了不良影响。为进一步提高跨语言词汇语义相似度计算的准确性,本文引入平行语料库作为补充数据源,首先抽取词语在语料库中的上下文词语,之后根据词语的PMI信息对上下文词语进行排序,并采用多种算法计算上下文词语之间的语义相似度,在把基于HowNet的方法与基于平行语料库的方法进行融合之后,跨语言词汇语义相似度计算的准确率得到了较大的提升。实验结果表明通过增加平行语料库的规模,跨语言词汇语义相似度计算的性能还会进一步提高。跨语言词汇语义相似度计算的评测采用与人工判断结果进行比较的方法,但是目前还没有可用的标准评测集。通过对英文词汇语义相似度研究中普遍采用的Miller-Charles评测集进行扩展,本文得到了包含28组中英文词语的评测集,为中英文词汇语义相似度计算提供了标准的评测集。

论文目录

• 中文摘要
• Abstract
• 第一章 引言
• 1.1 研究背景与意义
• 1.2 主要研究内容
• 1.3 论文组织结构
• 第二章 相关技术与资源
• 2.1 单语词汇语义相似度计算
• 2.1.1 WordNet 介绍
• 2.1.2 基于知识库的词汇语义相似度计算方法
• 2.1.3 基于语料库的词汇语义相似度计算方法
• 2.2 MC 评测集的扩展
• 2.3 本章小结
• 第三章 基于HowNet 的跨语言词汇语义相似度计算
• 3.1 HowNet 介绍
• 3.2 基于HowNet 的单语词汇语义相似度计算
• 3.2.1 词汇语义相似度与词汇语义距离
• 3.2.2 基于HowNet 的词汇语义相似度计算
• 3.3 基于HowNet 的跨语言词汇语义相似度计算
• 3.3.1 义原语义相似度计算
• 3.3.2 概念语义相似度计算
• 3.3.3 词汇语义相似度计算
• 3.3.4 实验结果
• 3.3.5 实验结果偏高分析
• 3.3.6 实验结果偏低分析
• 3.4 本章小结
• 第四章 平行语料库与HowNet 相结合的跨语言词汇语义相似度计算
• 4.1 基于平行语料库的词汇语义相似度计算方法
• 4.1.1 词语与上下文词语之间的语义相似度计算
• 4.1.2 上下文词语之间语义相似度计算
• 4.1.3 参数估计
• 4.2 实验结果及分析
• 4.2.1 实验语料库介绍
• 4.2.2 词语与词语的上下文词语的语义相似度实验
• 4.2.3 上下文词语的语义相似度计算实验
• 4.2.4 基于 How Net 的方法与结合平行语料库的方法的比较
• 4.2.5 组合参数实验
• 4.2.6 语料库规模实验
• 4.3 本章小结
• 第五章 总结与展望
• 5.1 本文总结
• 5.2 展望
• 参考文献
• 攻读学位期间公开发表的论文
• 致谢