基于Lucene的个性化搜索引擎研究与实现

论文摘要

科技知识信息量的急剧增长给从事技术性较强的行业的人们带来了很多困扰,其中最迫切需要解决的就是如何从海量信息中找到真正有用的信息资源。而目前国内外传统的搜索引擎往往只根据用户输入的关键词进行匹配查找,这种方式在信息量日益增长的环境下,已经凸显了许多不足之处,主要表现在：搜索引擎返回的信息量仍然非常巨大,用户还需根据自身的个性化要求从中进行再次筛选。为了改进传统搜索引擎的这一弱点,本文研究设计了基于用户属性的搜索算法并实现了个性化的搜索引擎。本文研究如何利用个性化服务技术,为需要快速检索到相关信息的用户提供全面、统一、集中的信息搜索解决方案。本文的个性化服务通过收集和分析用户信息来学习用户的兴趣和行为,区别不同用户的信息需求,从而为不同的用户提供不同的个性化服务,提高了信息服务的精度。并通过建立一个以个性化搜索引擎为核心的技术资料支持帮助系统来提供全面、统一的个性化服务。本文首先对个性化服务和搜索引擎技术的发展现状和未来趋势进行了分析。随后探讨了构建个性化搜索引擎的关键技术,指出了个性化搜索引擎设计的一个关键问题：基于用户的个性化需求,如何快速有效地检索所需的信息。本文利用向量空间模型设计了基于用户属性的搜索算法,首先阐明了用户模型及其对应的搜索策略。当用户使用搜索服务时,采用该模型对应的搜索策略进行信息的过滤和重排,从而得到个性化的搜索结果。基于上述研究成果本文实现了一个适用于武警部队网站内网的基于Lucene开源平台的搜索引擎系统。为了提高系统的搜索精度,本文加入了用户行为的跟踪和学习,将用户行为习惯作为用户属性的扩展,实现了信息的增量采集、自动分词和建立倒排索引功能,可有效消除“信息孤岛”,提高武警部队信息网内搜索的准确率和查全率,使信息资源能得以充分利用。

论文目录

• 摘要
• Abstract
• 目录
• 插图索引
• 第1章 绪论
• 1.1 研究背景及问题的提出
• 1.2 搜索引擎国内外研究现状
• 1.2.1 国外对搜索引擎的研究分析
• 1.2.2 国内对搜索引擎的研究分析
• 1.3 本文研究主要工作
• 1.3.1 研究目的
• 1.3.2 研究内容
• 1.3.3 研究意义
• 1.4 本文结构
• 第2章 搜索引擎概述
• 2.1 Web搜索引擎定义
• 2.2 Web搜索引擎的工作原理
• 2.3 Web搜索引擎的分类
• 2.4 本章小结
• 第3章 基于Lucene个性化搜索引擎的搜索算法设计
• 3.1 向量空间模型
• 3.2 搜索模式选择
• 3.2.1 相关概念
• 3.2.2 基本流程
• 3.2.3 用户模型与搜索模式的相适度算法
• 3.3 信息排序算法
• 3.4 用户行为的跟踪
• 3.4.1 概念
• 3.4.2 基本流程
• 3.5 本章小结
• 第4章 基于Lucene个性化搜索引擎系统的设计
• 4.1 Lucene系统结构分析
• 4.1.1 系统结构组织
• 4.1.2 改进的个性化搜索引擎系统结构
• 4.2 数据流设计
• 4.3 索引文件格式设计
• 4.4 个性化服务组件设计
• 4.4.1 用户特征识别和排序策略选择组件
• 4.4.2 用户行为跟踪组件
• 4.5 系统设计
• 4.5.1 架构设计
• 4.5.2 个性化搜索引擎系统结构模型
• 4.5.3 数据库设计
• 4.6 用户接口部分设计
• 4.6.1 服务端设计
• 4.7 本章小结
• 第5章 基于Lucene个性化搜索引擎系统的实现
• 5.1 个性化搜索引擎的相关技术
• 5.1.1 用户兴趣挖掘
• 5.1.2 信息过虑技术
• 5.1.3 日志分析技术
• 5.1.4 Agent技术
• 5.1.5 个性化搜索引擎实现的途径
• 5.2 系统实现
• 5.2.1 技术平台
• 5.2.2 系统模式
• 5.2.3 代码组织结构
• 5.3 查询扩展的实现
• 5.3.1 查询扩展设计建模
• 5.3.2 查询扩展的实现
• 5.4 排序的实现
• 5.4.1 排序设计建模
• 5.4.2 排序的实现
• 5.5 客服端实现
• 5.6 系统应用及实验对比
• 5.6.1 系统应用情况
• 5.6.2 实验对比
• 5.6.3 实验结论
• 5.7 本章小结
• 结论
• 参考文献
• 致谢
• 附录A 攻读学位期间所发表的学术论文目录