网站信息按需采集系统中爬虫子系统的设计与实现

论文摘要

众所周知,自上世纪90年代中期开始,互联网以其信息生产的自主性、信息传播、获取的便捷性、地域覆盖的广泛性,辅以低廉的运行维护成本,迅速发展成为政务、商务、教育、娱乐等一系列重要社会活动的承载平台。互联网安全性越来越重要,成为典型的非传统安全。针对传统搜索引擎无法提供服务定制以及数据更新相对慢的缺陷,本文研制了一个简易的爬虫系统,可以用来完成用户下发的任务列表。与传统搜索引擎只有一个全局大任务相比,本文研究的系统只需对特定数量的网站进行抓取。通过针对限制搜索宽度(指定网站)以及深度(最大URL深度),来缩小搜索范围,以满足用户的实时反馈要求。进一步提高任务执行的并行性,我们将任务拆分成更细粒度的任务分片进行管理调度,同时采用了致性Hash算法提供爬虫的任务分配,该算法使得爬虫间任务负载尽量相等,同时最大限度地减小爬虫增减时的任务分片重新分配。对指定的一些网站,进行了长期的观察和测试,得出相应结果和系统性能。实验结果表明该爬虫子系统的单系统效率、可扩展性和健壮性优良。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究的背景
• 1.2 国内外研究现状
• 1.2.1 爬虫理论研究
• 1.2.2 爬虫的具体实现方法
• 1.3 研究的目的及意义
• 1.4 本文的主要研究内容
• 1.4.1 多任务管理和分配
• 1.4.2 爬虫间负载均衡和爬虫加入退出处理
• 1.4.3 并行爬虫的实现
• 1.5 论文的构成
• 第二章 关键技术研究
• 2.1 问题陈述
• 2.2 系统框架图
• 2.3 爬虫系统的任务流图
• 2.4 基础知识
• 2.4.1 IP地址
• 2.4.2 端口
• 2.4.3 端客户机和服务器
• 2.4.4 URL
• 2.4.5 HTTP协议
• 2.5 网页搜索引擎
• 2.5.1 搜索引擎的发展现状与趋势
• 2.5.2 搜索引擎的分类
• 2.5.3 搜索引擎的工作原理
• 2.5.4 网页搜索策略
• 2.6 网络爬虫的种类
• 2.7 网络爬虫的爬行策略
• 2.8 通信库
• 第三章 Master节点的设计与实现
• 3.1 Master节点功能概述
• 3.2 Master功能详细实现
• 3.2.1 任务下发
• 3.2.2 任务完成
• 3.2.3 Worker节点加入
• 3.2.4 Worker节点退出
• 3.3 任务调度算法
• 3.3.1 取模法
• 3.3.2 一致性Hash算法
• 第四章 Worker节点的设计
• 4.1 Worker节点概述
• 4.2 CrawlerManager设计
• 4.3 Crawler的设计
• 4.3.1 爬虫概述
• 4.3.2 爬虫搜索策略
• 4.3.3 爬虫搜索策略
• 第五章 结论与展望
• 5.1 爬虫测试
• 5.1.1 单系统效率测试
• 5.1.2 系统扩展性测试
• 5.1.3 爬虫健壮性测试
• 5.2 系统总结评价
• 参考文献
• 致谢