同义词在文本特征提取与查询扩展中的应用

论文摘要

现代信息的快速增加以及用户对查询质量要求的提高,使得传统的信息检索技术已很难满足用户的需要,而在信息检索中存在的词语的匹配和同义重复等问题在一定程度上影响了检索效率的提高。本文对同义词关系在文本特征提取与查询扩展中的应用进行了研究。在特征提取中,利用同义词改进了传统的TF-IDF文本特征词提取方法。该方法在传统TF-IDF方法计算的词语权重的基础上根据同现频率对同义词及其相关词进行了权重调整,并根据词语相似度对同义词进行加权合并。在局部查询扩展中引入了同义词因素。首先利用初始查询术语进行初次检索,从查询结果集中找出与初始查询术语相关的文档作为局部文档集合,将局部文档集合中初始查询术语的同义词作为扩展词,提出了一种基于同义词关系的局部扩展方法。其次,在局部文档集中将初始查询术语及其同义词的相关词作为扩展词,改进了局部共现查询扩展方法。对以上方法分别做了实验验证,结果表明同义词关系在文本特征提取和查询扩展中的作用是不容忽视的。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.2.1 特征提取的研究
• 1.2.2 查询扩展的研究
• 1.2.3 同义词的研究
• 1.3 本文主要研究工作和论文组织
• 第2章 信息检索概述
• 2.1 信息检索
• 2.2 信息检索模型简介
• 2.2.1 信息检索模型
• 2.2.2 向量空间模型
• 2.3 文本预处理技术
• 2.3.1 文本分词技术
• 2.3.2 去停用词
• 2.4 信息检索系统评价指标
• 第3章 文本中同义词的识别
• 3.1 信息检索中的同义词关系
• 3.2 同义词查找
• 3.3 词语相似度
• 3.3.1 词语相似度定义
• 3.3.2 词语相似度计算方法
• 3.3.3 基于《知网》的词语相似度计算方法
• 第4章 同义词在文本特征提取中的应用
• 4.1 文本特征词提取
• 4.1.1 文本特征词提取常用方法
• 4.1.2 传统TF-IDF方法
• 4.1.3 侯选特征词的提取
• 4.2 同义词查找
• 4.3 同义词的相关词计算
• 4.4 同义词合并加权
• 第5章 同义词在文本查询扩展中的应用
• 5.1 基于同义词关系的局部查询扩展
• 5.1.1 基本过程
• 5.1.2 同义扩展词的选取
• 5.2 基于同义词关系的改进的局部共现查询扩展
• 5.2.1 基本过程
• 5.2.2 相关扩展词的选取
• 5.3 扩展词加权
• 第6章 实验与分析
• 6.1 测试集
• 6.2 数据处理
• 6.3 实验结果评测与分析
• 第7章 总结与展望
• 参考文献
• 致谢
• 攻读学位期间取得的科研成果