基于广域网的分布式网页信息获取系统的研究与实现

论文摘要

随着互联网迅猛发展,网络中流通的Web信息量巨大,本文针对当前对网页信息获取的实际需求,本文展开了基于广域网的分布式网站网页信息获取系统的研究与实现。本文设计描述了一个基于广域网的分布式网络爬虫的结构设计,其中包括硬件的构架和软件的模块划分。然后本文分析了分布式网络爬虫的关键技术的解决方法,重点解决分布式的各个结点如何协同工作,任务如何分配等等,解决了这些分布式网络爬虫的关键技术,实现了一个具备健壮性,可扩展性,可配置性的分布式网络爬虫,并就该分布式网络爬虫进行了仔细的剖析。这也是本论文的创新点。最后在该网络爬虫上作了一些测试,包括了单机爬行测试和该网络爬虫的一个应用,即学校网站网页信息的抓取测试。以及对多种分布式系统任务分配的方法指导下实际运行的效果进行了对比,得出网络性能指标指导预测效果法为最佳的任务调度方法。

论文目录

• 内容提要
• 第1章 绪论
• 1.1 课题的背景及研究目的
• 1.2 与课题相关的国内外研究综述
• 1.2.1 网页信息获取技术国外发展现状
• 1.2.2 国内相关工作
• 1.3 本课题研究的主要内容
• 1.4 主要完成工作
• 第2章 分布式网页信息获取系统的相关技术
• 2.1 预测抓取效果所用网络性能指标的合理性及测量方法
• 2.2 预测所用网络性能指标的数据分布特征及统计方法
• 2.3 网络通讯接口技术
• 2.4 本章小结
• 第3章 分布式网页信息获取系统的设计
• 3.1 系统需求分析
• 3.2 系统总体功能结构设计
• 3.3 接口设计
• 3.4 模块设计
• 3.5 本章小结
• 第4章 分布式网页信息获取系统的实现
• 4.1 系统实现
• 4.1.1 公共接口的实现
• 4.1.2 单机爬虫的实现
• 4.2 系统运行界面
• 4.2.1 单机爬虫结果抓图
• 4.2.2 测量可用带宽及RTT数据结果图
• 4.3 本章小结
• 第5章 系统运行测试
• 5.1 系统测试环境介绍
• 5.1.1 软件条件
• 5.1.2 硬件设施条件
• 5.2 分布式系统中各个单结点抓取效果差异测试
• 5.3 性能测试
• 5.4 本章小结
• 结论
• 参考文献
• 论文摘要
• Abstract
• 致谢