大规模对等网络中节点统计特性分析及应用

论文摘要

目前各类P2P网络的规模越来越大。对于文件共享的P2P网络,同时在线的用户数通常可以达到数百万,而即时消息类的P2P网络则拥有更多的并发用户数,但随之而来的很多问题也逐步出现,其中包括:(1)人们目前对大规模P2P网络发展的情况和特点并不十分了解,这种情况的出现往往使得研究工作缺乏针对性;(2)由于缺乏真实P2P系统中网络结构、用户行为等信息,很多模拟环境往往只能通过一些启发式的模型来生成,因此与真实系统中的情况存在不一致的可能;(3)缺乏现有系统运行中的各类性能指标和统计数据严重影响了未来P2P系统的设计。上述这些现象很好的说明了当前P2P网络统计特征分析的迫切性和必要性。为了解决这些问题,我们在当前流行的Gnutella0.6平台上开展了相应的统计特征分析工作,并提出了一些应用,其内容包括:(1)设计了一个高效的分布式协作P2P爬虫系统,解决了Gnutella0.6协议上的统计数据收集问题;(2)从节点在线时间、节点角色选择、节点连接情况、共享文件以及查询消息分布等方面较为全面的分析了Gnutella系统的统计特征;(3)从时间序列的角度分析了Gnutella系统中查询消息流的特性,并研究了查询消息数量的可预测性;(4)提出了Gnutella系统中基于该模型的结果缓存机制和Chord系统中同样基于该模型的动态负载均衡机制。我们的工作的主要意义在于(1)发现了Gnutella0.6中新出现的一些重要的现象和问题,如节点角色的选择问题等,为将来的研究提供了基础;(2)提供了很多精确的统计数据,为今后的P2P系统建模提供了重要的依据;(3)作为P2P系统流数据的挖掘方面的首个尝试,提出了从时间序列角度研究P2P数据流的方法;

论文目录

• 摘要
• Abstract
• 1 引言
• 1.1 对等网络应用的起源和发展
• 1.2 P2P网络的统计特性分析的引入
• 2 相关领域研究现状
• 2.1 对等网络应用的构架
• 2.1.1 应用构架的分类和进化过程
• 2.1.2 部分对等网络应用
• 2.1.3 完全对等网络应用
• 2.1.4 层次对等网络应用
• 2.1.5 结构化对等网络应用
• 2.1.6 四种构架的比较
• 2.2 对等网络的统计特性分析
• 2.2.1 对等网络中统计特性分析的起源和分类
• 2.2.2 基于P2P爬虫技术的统计特性分析
• 2.2.3 基于Net?ow信息的统计特性分析
• 2.2.4 小结
• 3 统计数据获取
• 3.1 Gnutella平台
• 3.1.1 简介
• 3.1.2 架构概述
• 3.1.3 协议分析
• 3.1.4 LimeWire实现分析
• 3.2 Gnutella 0.6爬虫
• 3.2.1 总体设计
• 3.2.2 节点发现
• 3.2.3 节点元数据获取
• 3.2.4 查询消息获取
• 3.3 爬虫实现和实际数据获取情况
• 4 统计数据分析和统计特征刻画
• 4.1 节点在线时间
• 4.2 节点角色选择
• 4.3 节点连接情况
• 4.4 共享文件
• 4.4.1 共享文件的类型
• 4.4.2 文件重复率
• 4.4.3 单个节点的共享文件类型分布
• 4.5 查询消息分布
• 4.5.1 消息的TTL（time to live）的分布
• 4.5.2 查询关键字的重复率
• 5 时间序列分析
• 5.1 背景和目的
• 5.2 Box-Jenkins模型
• 5.3 挖掘Gnutella查询流
• 5.3.1 方法
• 5.3.2 挖掘结果
• 6 应用
• 6.1 预测增强的P2P结果缓存
• 6.1.1 系统设计
• 6.1.2 效果检验
• 6.2 预测增强的P2P负载平衡
• 6.2.1 系统设计
• 6.2.2 效果检验
• 7 总结与展望
• 7.1 论文工作总结
• 7.2 未来工作展望
• 参考文献
• 致谢
• 已发表论文