基于综合倒排索引的个性化搜索技术研究

论文摘要

随着搜索引擎技术的不断发展,个性化搜索已经成为了人们研究的热点。本文针对目前搜索引擎存在的不足,充分研究了搜索引擎和个性化搜索的发展现状,并且提出在建立普通倒排索引的基础上,再建立一个个性化综合倒排索引。普通倒排索引通过对文档进行自动分词后产生,个性化综合倒排索引主要是结合用户的主观能动性,记录用户对文档进行手工标引的关键词、主题词和评语等信息,同时采用渠道奖励词频算法和文档关注度算法动态更新综合倒排索引。本文利用Lucene实现了一个功能较为简单的个性化搜索引擎,设定搜索时先在个性化综合倒排索引中检索,当检索信息不能满足用户需求时再到普通倒排索引中查找,这样当用户查找信息时尽可能将用户感兴趣的信息显示在最前面。本文的主要工作如下:对搜索引擎、个性化搜索和倒排索引的研究现状和存在问题进行了简要综述。对基于关键词的个性化文档处理系统中的相关技术进行了研究。对综合倒排索引及其词频渠道奖励算法和文档关注度算法进行研究并提出了改进算法。利用开源代码Lucene设计了一个简单的系统,该系统能实现索引的建立、添加、更新和文档搜索。本文的研究与探索为进一步研究搜索引擎的个性化技术提供了新的思路。

论文目录

• 摘要
• Abstract
• 第1章 序言
• 1.1 研究背景
• 1.2 研究的内容和目标
• 1.3 论文的组织结构
• 第2章 搜索技术研究现状
• 2.1 搜索引擎概述
• 2.1.1 搜索引擎的分类
• 2.1.2 全文搜索引擎的工作原理
• 2.1.3 评价搜索引擎的主要指标
• 2.1.4 开源搜索引擎简介
• 2.2 个性化搜索研究现状
• 2.2.1 个性化服务系统
• 2.2.2 用户兴趣模型研究
• 2.3 倒排索引研究现状
• 2.3.1 倒排索引基本原理
• 2.3.2 倒排索引相关技术研究
• 2.3.3 倒排索引的搜索算法
• 2.4 本章小结
• 第3章 基于关键词的个性化文档处理系统概述
• 3.1 相关定义
• 3.2 系统组织结构
• 3.3 信息组织部件的结构与功能
• 3.4 研究重点
• 3.5 本章小结
• 第4章 个性化综合倒排索引的关键技术
• 4.1 综合倒排索引概述
• 4.2 改进的综合倒排索引
• 4.2.1 普通倒排索引和个性化综合倒排索引的有效结合
• 4.2.2 对综合倒排索引的改进
• 4.2.3 对文档关注度表的改进
• 4.3 个性化综合倒排索引的添加
• 4.3.1 单渠道词频奖励
• 4.3.2 多渠道词频奖励
• 4.4 个性化综合倒排索引的更新
• 4.4.1 遗忘算法基本思想
• 4.4.2 遗忘算法应用
• 4.5 本章小结
• 第5章 基于综合倒排索引的个性化搜索技术在Lucene中的实现
• 5.1 Lucene简介
• 5.1.1 Lucene系统的结构组织
• 5.1.2 Lucene与搜索引擎的关系
• 5.1.3 Lucene索引的建立
• 5.1.4 Lucene索引性能的提高
• 5.1.5 Lucene索引中文档的删除和更新
• 5.1.6 Lucene中对文档的搜索
• 5.2 个性化综合倒排索引的实现
• 5.2.1 个性化综合倒排索引的建立
• 5.2.2 添加索引词标注信息
• 5.2.3 文档关注度更新
• 5.3 个性化搜索的实现
• 5.4 本章小结
• 第6章 总结和展望
• 6.1 总结
• 6.2 下一步工作
• 致谢
• 参考文献
• 附录
• 攻读学位期间公开发表的论文