基于WordNet的短文本语义相似性计算研究

论文摘要

句子或者是短文本的相似度在文本相关性判断,网页检索,信息检索以及文本挖掘方面起着越来越重要的角色。在相似性计算方面已有一些算法来自于对于长文本以及大文档的相似性计算。但是这些算法在计算效率上明显不足,对短文本的表达形式不完善,并且需要比较多的人工输入信息,较多的背景知识。本文提出了一种新的计算短文本语义距离的算法,该算法不涉及通用的相似性算法,它是基于知识库WordNet,以及词法库The Brown Corpus的相似性算法。文中构建了一种新的基于WordNet和Corpus Statistics的IC（Information Content）计算模型IC-CW,考虑概念在WordNet中语义信息以及语料库中概念的频率信息。并针对目前已有的语义相似性计算方法均与领域相关的特点,设计了一种通用的概念之间的语义相似性计算方法：SS-CW。在SS-CW的基础上又提出了一种新的文本之间的语义相似性计算方法ST-CW,在R&B以及Miller数据集上进行了实验,实验结果验证了新的模型和算法的有效性。

论文目录

• 提要
• 第1章 绪论
• 1.1 研究背景和意义
• 1.2 本文研究的主要内容及其先进性
• 1.3 论文的组织结构
• 第2章 本体库WordNet的介绍
• 2.1 本体的定义和简介
• 2.1.1 本体的分类
• 2.1.2 本体的应用
• 2.2 WordNet发展与应用
• 2.2.1 WordNet发展
• 2.2.2 WordNet中节点之间的语关系
• 2.2.3 WordNet中词汇组织结构
• 2.3 WordNet中概念的结构
• 2.3.1 WordNet中的拓扑结构
• 2.3.2 WordNet中概念的表示形式
• 2.4 WordNet中的存储结构
• 2.4.1 WordNet中的存储结构
• 2.4.2 WordNet中文件作用介绍
• 2.5 本章小结
• 第3章 语义相似度计算方法
• 3.1 WordNet概念语义相似度IC参数
• 3.1.1 基于统计的IC计算方法
• 3.1.2 基于知识库层次结构的IC计算模型及缺点
• 3.2 常用的概念之间的语义相似性计算算法
• 3.2.1 基于概念间的路径距离计算方法
• 3.2.2 基于信息内容IC的语义相似性计算方法
• 3.3 常见的文本相似性计算算法
• 3.3.1 向量模型方法
• 3.3.2 Corpus-based方法
• 3.3.3 Feather-based方法和综合方法
• 3.4 本章小结
• 第4章 概念之间语义相似性计算SS-CW
• 4.1 基于WordNet与The Brown Corpus的IC计算模型IC-CW
• 4.1.1 IC-CW模型
• 4.1.2 IC-CW模型值域分析
• 4.1.3 IC-CW模型实现
• 4.2 IC模型IC-CW评估
• 4.2.1 实验数据
• 4.2.2 IC-CW与Nuno在语法树上比较
• 4.2.3 IC-CW在算法中的应用
• 4.3 基于IC-CW的语义相似度计算模型SS-CW
• 4.3.1 语义相似度计算方法SS-CW
• 4.3.2 SS-CW实现
• 4.4 基于IC-CW的语义相似度计算方法SS-CW分析
• 4.5 本章小结
• 第5章 短文本语义相似性计算ST-CW
• 5.1 相关计算
• 5.1.1 相关概念词序相似度计算CW-SS
• 5.1.2 字符串相似度的计算NSS
• 5.2 文本语义距离计算ST-SW设计与实现
• 5.2.1 ST-SW文本预处理
• 5.2.2 ST-SW算法过程
• 5.3 文本语义距离计算ST-SW分析分析
• 5.4 本章小结
• 第6章 总结与展望
• 6.1 本文总结
• 6.2 工作展望
• 参考文献
• 致谢
• 攻读硕士期间研究成果
• 摘要
• Abstract