数据抓取平台设计搭建与对等网络研究

论文摘要

研究网络一种常用的方法是通过抓取网络“快照”来实现，对每一个“快照”的分析可以反映网络的各方面特性，这些特性对于刻画网络特征具有重要的作用。对一些连续的”快照”分析则可以反映各特性的动态变化情况；而抓取这些“快照”一般需要用到专门的抓取平台。在本文中，我们介绍了针对Gnutella网络的研究，设计实现的相关平台。采用的基本原理是利用Gnutella协议中ping／pong消息获取节点和文件相关信息，使用的硬件是普通的PC，软件是Gtk-Gnutella修改而来，运行在linux环境下，采用控制端与工作端相结合的方式；优化方面，我们在软件、硬件和数据库三个部分，通过比较实验，分别探讨了影响平台性能的因素；优化后的平台每台机器每分钟获得的pong数量可以达到15000，可以访问300个peer，同时还可以得到节点的连接关系、文件的详细信息以及文件节点的相关信息等等；通过与其他相关平台的比较，得知平台抓取速率的瓶颈在于建立TCP连接对时间的消耗，对以后的设计提出了相应建议。我们利用在15个小时抓取的数据对网络特性进行了分析，得到了包括文件类型、流行度及其动态分析，网络拓扑分布等几个方面的信息。最后对P2P网络污染问题进行了简要介绍，对之前的污染检测标准提出了基于应用方面的改进，并通过实验，得到了Gnutella网络中不存在大规模污染的结论。

论文目录

• 中文摘要
• ABSTRACT
• 1 引言
• 2 相关基础知识介绍
• 2.1 P2P网络发展概述
• 2.2 Gnutella的相关介绍
• 2.2.1 Gnutella的应用特点
• 2.2.2 Gnutella的网络特点
• 2.2.3 Gnutella协议的进一步介绍
• 3 研究平台的设计搭建与优化
• 3.1 平台介绍
• 3.1.1 平台硬件构成
• 3.2 实验室网络介绍及平台拓扑设计
• 3.2.1 实验室网络介绍
• 3.2.2 平台特点
• 3.2.3 平台软件介绍
• 3.3 平台优化
• 3.3.1 概述
• 3.3.2 指标
• 3.3.3 工作原理
• 3.3.4 平台优化
• 3.4 抓取速率的分析
• 3.4.1 开始阶段的平均抓取速率
• 3.4.2 长时间测量的平均抓取速率
• 3.5 覆盖率的分析
• 3.6 与其他平台的抓取速率比较
• 4 基于测量的Gnutella网络研究
• 4.1 文件相关分析
• 4.1.1 文件类型分布
• 4.1.2 文件流行度分布
• 4.1.3 文件流行度分布的动态分析
• 4.2 网络拓扑特征分析
• 4.2.1 节点相关数目
• 4.2.2 客户端
• 4.2.3 节点的度
• 4.2.4 平均最短路径长度和网络半径
• 4.3 其他相关分析
• 4.3.1 文件节点的地理分布
• 4.3.2 文件描述信息的统计
• 4.4 对于Gnutella网络中污染的相关分析
• 4.4.1 P2P网络污染概述
• 4.4.2 关于污染问题的几点结论
• 5 结论
• 5.1 论文总结
• 5.2 进一步的工作建议
• 参考文献
• 附录A
• 索引
• 作者简历
• 学位论文数据集