基于语义词语相似度计算模型的研究与实现

论文摘要

在智能信息处理中，基于语义的词语相似度计算是一个非常基础而关键的问题，广泛应用于信息检索、机器翻译、自动问答系统、文本挖掘等领域。词语相似度计算的算法有很多种，大部分算法都缺乏词语间各种关系等因素的分析，因此对相似度进行量化时，导致词语相似度计算结果不够精准。本文基于哈工大信息检索研究室开发的《同义词林》，根据《同义词林》的结构信息和词语划分的各种规则，综合考虑了词语间关系、词语在词林中分布区域及词语的语义相关性等信息，分析了它们对相似度的影响，提出并实现了一种基于语义的词语相似度计算算法。为了验证算法的合理性，本文通过三种不同的方法对算法进行实验验证，并与中科院计算所刘群先生提出的基于《知网》词语相似度计算的算法进行了比较分析。从三个方面对本文提出的算法进行测试，包括词语可替换性分析、词语相似性统计分布实验分析和相同词库同义词统计分析。通过比较分析了这两种算法的合理性及准确性。实验结果表明，本文提出的基于语义词语相似度计算方法是行之有效的。这一课题的研究及其成果对于智能信息处理中的多种领域，都将具有一定的参考价值和良好的应用前景。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究的背景及意义
• 1.2 国内外研究现状
• 1.3 本文的工作
• 1.4 本文的组织结构
• 第二章 基于语义词语相似度的计算模型概述
• 2.1 词语概念相似度的定义与特点
• 2.2 词语语义资源
• 2.2.1 《知网》结构分析
• 2.2.2 《同义词词林》概述
• 2.2.3 《WordNet》简述
• 2.3 词语相似度计算模型简介
• 2.3.1 基于单汉字的字面相似度计算
• 2.3.2 基于词素的词语相似度计算
• 2.3.3 基于语义词典的词语相似度计算
• 2.3.4 基于统计方法的词语相似度计算
• 2.3.5 基于本体概念的词语相似度计算
• 2.4 本章小结
• 第三章 基于语义词语相似度计算模型的研究与实现
• 3.1 基于《知网》词语相似度计算方法的研究分析
• 3.1.1 义原相似度计算
• 3.1.2 词语概念相似度计算
• 3.1.3 知网词语相似度计算方法的分析
• 3.2 基于《词林》词语相似度计算算法的研究分析
• 3.2.1 基于《词林》词语相似度计算算法的简介
• 3.2.2 基于《词林》词语相似度计算算法的分析
• 3.3 一种改进的基于《词林》词语相似度计算的模型
• 3.3.1 改进的基于《词林》词语相似度计算模型的相关定义
• 3.3.2 《词林》词语编码的改进
• 3.3.3 影响词语间相似度相关因素的量化
• 3.3.4 词语相似度计算算法描述
• 3.3.4.1 同义词义项相似度的计算
• 3.3.4.2 相关词义项相似度的计算
• 3.3.4.3 词语相似度的计算
• 3.4 词语相似度计算算法的实现
• 3.4.1 系统功能要求
• 3.4.2 系统总体设计
• 3.4.3 相关词典文件的处理
• 3.4.4 系统实现
• 3.5 词语相似度计算算法性能分析
• 3.6 本章小结
• 第四章 基于语义的词语相似度计算实验设计与实现
• 4.1 实验一：词语可替换性比较实验
• 4.1.1 实验目标与方法设计
• 4.1.2 实验方法
• 4.1.3 实验结果与分析
• 4.2 实验二：词语相似性统计分布实验
• 4.2.1 实验目标与方法设计
• 4.2.2 实验方法
• 4.2.3 实验结果与分析
• 4.3 实验三：相同词库同义词统计分析
• 4.3.1 实验目标与方法设计
• 4.3.2 实验方法
• 4.3.3 实验结果与分析
• 4.4 本章小结
• 第五章 结论与展望
• 5.1 论文总结
• 5.2 今后工作的展望
• 致谢
• 参考文献
• 附录 刘群先生提供的程序及部分实验结果