反馈式FTP搜索引擎的实现

论文摘要

人类社会已经步入了一个信息量高速增长的信息化时代。搜索引擎技术使得人们能够更方便的寻找信息。但是,信息的持续增长让传统的搜索引擎也显得难于处理,为了解决海量Web信息的搜索问题,人们提出了新一代搜索引擎技术的概念。本文所研究的反馈式搜索引擎(FSE)正是新一代的搜索引擎技术的一种,文章展示说明了反馈式搜索引擎框架的概念,工作原理和核心算法。同时,本文介绍了一个开源搜索引擎Nutch,并且参考它的结构和解决方案实现了一个反馈式FTP搜索引擎。该FTP搜索引擎采用了内容相关性挖掘算法作为其实现反馈式功能的核心算法,这个算法对用户使用搜索引擎期间的点击行为作出合理的统计分析,从而提高返回结果的质量。对于搜索引擎技术来说,考虑用户的点击行为并做相关性挖掘工作是一个很有意义的尝试和创新。最后,文章根据反馈式搜索引擎框架的优缺点和有待改进的地方做出进一步总结和展望。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究的背景和意义
• 1.2 搜索引擎的研究状况
• 1.3 本文内容和结构
• 第二章 搜索引擎核心技术
• 2.1 搜索引擎的基本技术
• 2.1.1 数据收集相关技术
• 2.1.2 数据处理相关技术
• 2.1.3 数据查询相关工作
• 2.2 搜索引擎优化技术
• 2.2.1 与性能相关的技术
• 2.2.2 与质量相关的技术
• 2.2.3 前台优化技术
• 2.3 反馈式功能相关的研究
• 第三章 Nutch 系统模块的复用和实现
• 3.1 开源搜索引擎Nutch 介绍
• 3.1.1 Lucene 项目组介绍
• 3.1.2 Lucene 及Nutch 介绍
• 3.2 文件系统模块的设计和实现
• 3.2.1 文件系统模块的设计概览
• 3.2.2 IO 层的实现
• 3.2.3 FS 层的实现
• 3.2.4 DB 层的实现
• 3.3 插件管理模块的设计和实现
• 3.3.1 插件管理模块设计概览
• 3.3.2 插件管理模块的实现
• 3.4 索引器和检索器的设计
• 3.4.1 索引器的设计
• 3.4.2 检索器的设计
• 第四章 基于内容相关性挖掘的反馈式搜索引擎实现
• 4.1 反馈式搜索引擎的总体设计和解决方案
• 4.1.1 总体设计和实现
• 4.1.2 持久化数据
• 4.1.3 数据更新方案
• 4.2 爬行器的设计和实现
• 4.2.1 爬行器模块的设计
• 4.2.2 控制器的实现
• 4.2.3 抓取器的实现
• 4.2.4 管理器的实现
• 4.2.5 连接器的实现
• 4.2.6 解析器的实现
• 4.3 内容相关性挖掘算法和反馈式搜索引擎框架
• 4.3.1 反馈式搜索引擎框架的设计和实现
• 4.3.2 内容相关性挖掘核心算法及其实现
• 4.4 用户接口的设计和实现
• 第五章 总结与展望
• 参考文献
• 发表论文和参加科研情况说明
• 致谢