面向多任务、多通道并行爬虫的技术研究

论文摘要

互联网以其信息生产的自主性、信息传播、获取的便捷性、地域覆盖的广泛性,辅以低廉的运行维护成本,自上世纪90年代中期开始大发展以来,迅速成为政务、商务、教育、娱乐等一系列重要社会活动的承载平台。互联网安全变得越来越重要,成为典型的非传统安全。针对传统搜索引擎无法提供服务定制以及数据更新慢的缺陷,该论文研制并实现了一个能够提供高度定制化、按用户需求组织资源、支持多通道信息获取技术的信息按需、及时获取平台。不同于传统的搜索引擎只有一个全局大任务,该系统需要处理不同用户下发的多种任务。每个用户只关心某几个网站,而且实时性要求比较高,在特定的时间内,需要对目标网站进行频繁抓取。该系统研究的是具有多任务管理和分配的并行爬虫,任务的目标通常包含多个网站,而且任务开始时间,下一次执行任务的时间都可以设定,多个监管任务又可能需要关心同一个网站。为了提高任务执行的并行性,该系统将任务拆分成更细粒度的任务分片进行管理分配,同时采用了一致性Hash算法提供爬虫的任务分配,该算法使得爬虫间负载尽量相等,同时最大限度地减小服务器增减时的任务分片重新分布。针对不同的数据来源,文中采用了多通道技术,根据每种数据源的特征,定制不同的分析方案。该论文还剖析了传统搜索引擎分配任务的方式及存在的问题,随后根据系统的特点,提出了新的比传统方法粒度更细的任务分配方式网站划分。该分配方式将较大规模的网站切分为若干较小规模的子集,并将子集交给若干爬虫节点并行抓取,以加快爬虫系统的整体获取速率,作为对传统方法的有效优化。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题研究的背景和意义
• 1.1.1 课题研究的背景
• 1.1.2 课题简介
• 1.1.3 课题研究的意义
• 1.2 本文的主要研究内容
• 1.2.1 多任务管理和分配
• 1.2.2 多通道技术的运用
• 1.2.3 网站划分
• 1.2.4 爬虫间负载均衡和爬虫加入退出处理
• 1.2.5 资源处理
• 1.3 国内外研究现状
• 1.3.1 爬虫理论研究
• 1.3.2 爬虫技术与实现
• 1.4 论文结构安排
• 第2章 网站划分策略
• 2.1 问题描述
• 2.1.1 传统的划分方式
• 2.1.2 本系统的特点
• 2.2 基于路径分配算法的网站划分
• 2.2.1 网站划分定义
• 2.2.2 确定URL 的路径
• 2.2.3 路径分配算法
• 2.2.4 选取种子URL
• 2.3 网站划分实验
• 2.3.1 网站划分评价指标
• 2.3.2 网站划分效果
• 2.4 本章小结
• 第3章 多用户多任务管理及分配算法
• 3.1 问题描述
• 3.2 多任务管理策略
• 3.3 任务分配算法
• 3.3.1 取模法
• 3.3.2 一致性Hash 算法
• 3.3.3 分配算法对比实验
• 3.4 爬虫管理
• 3.4.1 爬虫加入处理
• 3.4.2 爬虫退出处理
• 3.4.3 任务迁移
• 3.5 本章小结
• 第4章 多通道并行爬虫技术研究
• 4.1 爬虫技术
• 4.1.1 爬虫设计框架
• 4.1.2 网页去重
• 4.1.3 协议及格式控制
• 4.1.4 Robots 控制
• 4.1.5 DNS 缓存
• 4.1.6 链接管理
• 4.1.7 网页缓存
• 4.1.8 子链接提取
• 4.2 网页正文提取
• 4.3 RSS 内容提取
• 4.4 BBS 结构化信息提取
• 4.4.1 功能需求
• 4.4.2 实现方法
• 4.4.3 实验
• 4.5 本章小结
• 第5章 面向多任务多通道并行爬虫的系统设计
• 5.1 系统总体结构
• 5.1.1 角色定义
• 5.1.2 系统结构设计
• 5.2 任务管理模块
• 5.2.1 数据结构
• 5.2.2 任务下发流程
• 5.2.3 任务取消流程
• 5.2.4 任务完成流程
• 5.2.5 任务分片定时启动
• 5.3 分布式信息存储
• 5.3.1 功能需求
• 5.3.2 实现方案
• 5.4 爬虫可扩展性实验
• 5.5 本章小结
• 结论
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢