基于时间域的信息检索系统的设计与实现

论文摘要

上世纪90年代,互联网的兴起加速了信息与知识的传播。近年来,随着计算机的普及以及硬件性能的加速提升,以文本方式呈现的信息数据正急速膨胀着。大规模信息检索系统的出现为人们查找所需信息提供了很好的帮助,因此,信息检索的相关技术也一直是研究的焦点。这其中包括:索引的结构与构建算法,索引的压缩与维护,检索模型,查询反馈与扩展,top-k的高性能查询处理算法等。这些技术为信息检索系统的发展提供了坚实的基础。但随着时间的推移,信息一直在不断地积累着,人们对历史数据信息逐渐产生兴趣,这种需求随着数据的积累会逐渐显著,尤其是近年来web2.0的发展,各类社区以及用户blog中的信息不断更新,加速了人们对该领域的研究。目前,已经有一些研究者注意到这一问题,并试图提出一些解决方案。本文综述了信息检索系统的基本原理,详细介绍了文本检索系统的各主要构件的实现细节。提出了动态文本环境中高性能的支持任意时间段检索的索引结构以及查询算法,实现了以高校社区站点为对象检索系统。本文主要工作包括:●本文提出了一种支持高性能时间段查询的索引组织方式;●本文在新的需求环境下,改进了时间段索引中压缩算法;●本文详细分析了各检索模型的主要特征,使用一种简化的模型NRA-Okapi,有效地支持了高性能top-k算法;●本文对以上方法在TREC 2006 Genomics Ad-hoc语料进行了评测●针对社区文本不断演化的特征,本文设计并实现了一个面向高校社区的检索系统。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 研究背景与现状
• 1.2 问题的提出与意义
• 1.3 本文工作及组织结构
• 1.4 本章小结
• 第二章 信息检索系统的基本原理
• 2.1 文本检索系统基本流程
• 2.2 索引体系结构
• 2.2.1 索引中的信息组织
• 2.2.2 索引构建算法
• 2.2.3 索引的压缩方法
• 2.2.4 索引的维护
• 2.2.5 结构化文档索引技术
• 2.3 查询处理算法
• 2.3.1 常用检索模型
• 2.3.2 查询扩展方法
• 2.3.3 文档打分算法
• 2.4 带有时间信息的文本查询
• 2.5 高性能的查询处理
• 2.5.1 索引消减技术
• 2.5.2 top-k查询处理算法
• 2.6 本章小结
• 第三章 动态文本中的信息检索系统
• 3.1 需求概述
• 3.2 基于时间信息的索引组织
• 3.2.1 基于时间域的倒排索引
• 3.2.2 按时间窗口的分级索引
• 3.2.3 基于跳跃表的文本流索引
• 3.2.4 对跳跃表索引的压缩
• 3.2.5 实验与结果
• 3.3 高性能查询处理
• 3.3.1 top-k计算模型
• 3.3.2 索引对检索模型的支持
• 3.3.3 NRA-Okapi查询算法
• 3.3.4 时间段的top-k查询
• 3.3.5 实验与结果
• 3.4 本章小结
• 第四章 基于社区的检索系统实现
• 4.1 系统设计
• 4.2 新颖度模型
• 4.3 系统演示
• 4.4 本章小结
• 第五章 总结与展望
• 5.1 总结
• 5.2 进一步的工作
• 参考文献
• 附录一 硕士期间发表的论文
• 附录二 硕士期间参加的科研项目
• 致谢