全文检索系统研究 ——检索结果排序算法研究

论文摘要

随着信息技术的发展,特别是计算机网络技术的发展和因特网应用普及,信息检索系统已成为人们获取资源和信息交流的主要途径。检索系统作为搜寻网络信息的最主要的工具,已经渗透到人们生活的各个领域。然而用户的一个查询请求往往会检索出庞大的结果集,可用户所需要的信息往往却只是其中一小部分。因此,提供有效的工具和方法来帮助用户管理检索系统检索出来的相关文档,并进行合理的排序,以满足用户个性化的信息需求,是开发检索系统面临的新挑战。检索结果排序算法研究和个性化服务技术研究已经成为当前信息检索领域的研究热点之一。所谓个性化服务是指针对不同用户的需求和不同时间的需求采取不同服务策略,其关键在于兴趣挖掘和用户兴趣模型的建立。本文围绕着全文检索系统结果个性化排序的关键问题开展如下研究。通用检索系统中没有考虑检索词条在文档中的位置关系和文档的长度影响,对此,本文提出一种改进的加权WTFIDF算法。该算法考虑了多个因素：(1)同义词对文档相关性有着很大的影响,该算法对用户的检索词条作同义词和相关语义扩展。(2)检索词条在文档的位置关系影响词条的权重计算。(3)检索词条在文档的比重同样影响词条的权重计算。基于词频的TFIDF算法忽略了文档与用户兴趣的相关性,对此本文分析了用户浏览过的文档内容与兴趣的相关因素,提出了一种用户兴趣模型。通过分析文档结构、用户浏览行为信息及用户对文档的评价信息,设计了一种用户兴趣挖掘策略,来创建和实时更新用户兴趣模型。在用户兴趣模型基础上,提出了一种用户兴趣度计算方法,根据用户的兴趣爱好对检索结果文档进行重排,提高检索系统的查准率,并能随着不同用户的兴趣变化优化检索结果,通过实验证明了算法的有效性。最后,对上述个性化重排方法做了较为全面的模拟试验。试验结果表明,本文提出的个性化用户兴趣模型能较准确地描述用户兴趣所在和用户兴趣变化,并能够把用户兴趣感兴趣的相关主题排在结果文档集的前面,在检索系统的个性化研究中具有实际应用价值。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 国内外检索结果排序算法的研究现状
• 1.3 研究检索结果排序算法的意义
• 1.4 本文的研究内容
• 1.5 本文的组织与结构
• 第二章 检索结果排序算法相关技术研究
• 2.1 研究背景
• 2.2 常用检索结果排序算法
• 2.2.1 词频统计和位置加权排序算法
• 2.2.2 Direct Hit算法
• 2.2.3 PageRank算法及相关算法
• 2.2.4 Hits算法
• 2.3 常用全文检索相关度计算模型
• 2.3.1 布尔逻辑模型
• 2.3.2 概率论模型
• 2.3.3 向量检索模型
• 2.3.4 其它相关模型
• 2.4 常用用户兴趣建模方法
• 2.5 常用用户兴趣表示方法
• 2.6 本章小结
• 第三章 TFIDF算法改进及预排序的实现
• 3.1 TFIDF算法概述
• 3.2 改进TFIDF算法的原因
• 3.3 WTFIDF
• 3.4 预排序的实现
• 3.5 实验设计及结果分析
• 3.5.1 实验设计
• 3.5.2 实验结果
• 3.6 本章小结
• 第四章 基于用户兴趣挖掘的个性化模型设计
• 4.1 模型概述
• 4.2 用户兴趣挖掘
• 4.2.1 日志挖掘
• 4.2.2 个体显式兴趣挖掘
• 4.2.3 个体隐式兴趣挖掘
• 4.3 用户兴趣存储
• 4.3.1 兴趣分类模型
• 4.3.2 短期兴趣与长期兴趣表示
• 4.4 模型更新机制
• 4.5 用户兴趣度计算
• 4.6 个性化重排算法实现
• 4.7 实验设计及结果分析
• 4.7.1 实验设计
• 4.7.2 实验结果
• 4.8 本章小结
• 第五章 系统设计及实现
• 5.1 系统结构设计
• 5.2 核心模块设计
• 5.2.1 用户兴趣采集模块
• 5.2.2 兴趣分类模块
• 5.2.3 兴趣类选择模块
• 5.2.4 重排模块
• 5.3 系统测试
• 5.3.1 实验设计
• 5.3.2 实验结果
• 5.4 本章小结
• 第六章 总结与展望
• 6.1 工作总结
• 6.2 工作展望
• 参考文献
• 致谢
• 攻读学位期间发表论文情况