基于Nutch的科技主题搜索引擎Crawler的研究与实现

论文摘要

随着人们日益增长的个性化需求，通用搜索引擎显然已经不能满足用户的各方面需求，由于主题式搜索引擎具有效率高、专业化、目标化、准确性高、及时性、个性化等优势，能够得到越来越多用户的认可。因此，主题式搜索引擎成为当今研究的热点。另外，由于Nutch具有高透明度，任何单位或个人都可以查看搜索引擎的工作原理并且程序设置灵活，用户可以根据自己需求定制，通过长时间的实际应用，结果表明Nutch运行非常稳定，因此选择Nutch为爱好搜索引擎的人们提供了一个很好的研究平台。本课题的主要内容是基于Nutch的科技主题搜索引擎Crawler的研究与应用。之所以选择科技作为主题，是因为它不仅能丰富人们的精神生活，对更新人们的思想观念以及破除迷信也具有相当重要的意义。在此背景下，本课题设计并实现了一个科技主题搜索引擎。本课题中作者以Nutch作为开发平台，对Nutch进行二次开发，并在Nutch的基础上设计实现一个以科技为主题的主题搜索引擎，详细说明了科技主题搜索引擎搜索系统开发过程和方法。作者首先在阅读了大量的参考文献的基础上，了解了主题式搜索引擎的工作原理、主题式Crawler的抓取策略，分析比较了各种搜索策略之后，鉴于遗传算法在搜索引擎中的各种优势，将遗传算法的思想运用到Crawler的抓取策略中。在设计系统时，系统主要分为抓取模块、预处理模块和查询服务模块。另外，由于Nutch仅仅提供搜索平台，它具有很高的扩展性及插件机制，而Nutch本身的分词效果很差，本课题中使用了庖丁解牛分词器改善Nutch中文分词的效果。最后通过项目部署在Tomcat服务器上对系统进行了实验测试，以验证了此种方法的可行性和预期的结果是否相符，改进后提高了搜索结果的精确度。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究背景与研究意义
• 1.2 国内外研究现状
• 1.3 搜索引擎工作原理
• 1.3.1 通用搜索引擎工作原理
• 1.3.2 主题搜索引擎工作原理
• 1.4 本文主要研究内容和组织结构
• 2 Nutch 搜索引擎介绍
• 2.1 Nutch 搜索引擎特点
• 2.2 系统架构
• 2.2.1 Nutch 中的 Crawler 组成
• 2.2.2 Nutch 中的 Crawler 工作流程
• 3 Crawler 搜索策略的研究
• 3.1 基于链接结构特征的搜索策略
• 3.1.1 PageRank 算法
• 3.1.2 HITS 算法
• 3.2 基于内容评价的搜索策略
• 3.2.1 Fish Search 算法
• 3.2.2 Shark Search 算法
• 3.3 改进以后的搜索策略
• 3.3.1 遗传算法思想原理
• 3.3.2 遗传算法的应用
• 3.4 主题 Crawler 的策略总结
• 3.5 Crawler 提高程序性能的技术
• 4 科技主题搜索引擎设计
• 4.1 系统体系结构
• 4.1.1 信息的抓取模块
• 4.1.2 信息的预处理模块
• 4.1.3 信息的查询服务模块
• 4.2 起始 URL 列表的形成
• 4.2.1 筛选出高质量科技页面的规则
• 4.2.2 URL 队列的形成
• 4.3 科技主题页面的分布特征
• 4.4 中文分词
• 4.5 系统界面
• 4.6 系统总体工作流程描述
• 5 系统实现技术难题和实验结果
• 5.1 主题相关性判别
• 5.2 开发的环境介绍
• 5.3 运行步骤
• 5.3.1 设置环境变量
• 5.3.2 抓取页面的准备工作
• 5.3.3 运行 Crawl 命令抓取网站页面
• 5.3.4 在 Tomcat 上部署项目
• 结论
• 参考文献
• 在学研究成果
• 致谢