大型复杂组合式P2P网络系统的研究

论文摘要

以IPv6为核心技术的下一代互联网(NGI)正快速向人们走来，它将实现128位真实IP地址的网络寻址，希望能通过唯一的IP地址支持多种应用，人们也将进入分布与集中相结合、以资源广泛分布为主要特征的新时代，其特点是，资源在哪里生成，就由那里拥有并管理，同时可以为任意资源需求者提供服务。例如，目前各单位与部门已建立了自己的网络与应用系统，当面临新的上层应用需求时，人们首先想到的不应当是如何重新布线、如何重新集成并存储数据，不要去重复已经进行过的工作。而是要考虑与设计如何共享已有资源，如何在已有基础上提供新的服务。P2P网络是建立上述分布式系统的良好基础，使能基于资源对一个普通通信媒体(如Internet)的任意终端设备提供服务，从而降低目前客户／服务器模式下对专门服务提供者的要求。新的历史时期也向P2P网络提出了新的要求，它将迎来新的发展高峰。当前的P2P网络应用主要还只集中在并行计算系统、多媒体共享系统、即时通信系统及文件共享系统的部分领域，但技术的发展已要求它有更广泛的应用，例如建立电子政务、电子商务、其他协同工作领域、远程会议与远程教学、决策支持等系统。简单的纯对等网络已无法适应这样一些新的应用的需求。本文探索了一种用来设计有效的P2P网络系统覆盖网络的新的体系结构，文中称为大型复杂组合式P2P网络(LSCC)。所谓覆盖网络，是在物理电信网络上建立的一个专门的虚拟网络。它是一个对物理网络的强制抽象，既可以灵活满足功能性要求，例如连通性维护、索引和路由，也可以满足非功能性要求，例如容错性和负载平衡等。在设计覆盖网络时，必须注意既要满足上述要求，也要避免上述要求中的潜在冲突。考虑到有大量的参与者的大范围系统的最重要的一些特性，例如可升级性和扩展性要求，考虑覆盖网络拓扑的一些导致动态变动的不可控制和不可预知的行为，需要建立有弹性的稳定系统，使能以最小维护代价来保持高效运行。除此以外，还需要考虑其物理上的内在异构性，以及会加重工作量分布不平衡问题的用户行为。本文介绍了已存在的一些符合上述要求的机制，以之作为范例并进行比较，从中寻求发展的新空间。作为大型P2P网络系统，必须考虑在加强管理方面拓展原来的P2P的概念，本文就以下几个方面进行了探索和研究。1)遵循一种基于角色的方法：对P2P覆盖网络最普通、基本的操作是根据能力和被预计的行为对每个节点分布角色。特别地，要定义如下核心角色：维护器、路由器、缓存器、索引器、连接器、安检器、数据集散器等。需要设计通用部件充当这些角色。这些不同的角色将使每个节点可以有效地加入网络，有效地提高整体性能。需要定义一定的规则来实现一个公平的解决方案，保证每个节点贡献平衡。一个节点可以不承担角色、可以承担一个角色，也可以承担多个角色，灵活的组合机制使LSCC能用到不同的P2P网络系统之中。2)提出通过一定结构的参数设置自动实现不同逻辑结构系统整合的方案：考虑到索引在资源查询中的关键作用，大规模的索引系统要求极大存储容量、占据很大带宽，是查询工作的瓶颈，设计采用稠密索引加稀疏索引的复合索引结构。这类复合结构可以分散负荷、提高效率。考虑到信息系统中的异构系统既包括物理方面的异构性，还包括逻辑方面的异构性，本文特别提出上述自动整合的方案。3)在网络拓扑结构方面，本文提出按骨干网和主机地址与de Bruijn图地址相结合的分簇结构。指数级扩展性是de Bruijn图的内在特性，具有直径呈对数级数增长的显著特征，即使节点的度不变，也可以花最小代价满足可升级性需求，该结构适用于簇的内部连接。设计时注意到应采用渐进可扩展特性来定义de Bruijn变量，节点的度愈少愈好，在满足应用需要的前提下，尽量减少对结构的维护成本。按骨干网和主机地址的分簇结构适应组间通信的需要，本设计采用二者相结合的混合拓扑结构，以实现一个构造紧密且可以灵活组装与运用的网络。设计时必须考虑的是怎样保证可以从若干附近簇的成员中选择对等点的自由，这种选择要被各种各样的策略和规定所约束，使能有效映射地到底层的网络并满足安全与信任要求。本文根据随机采集的数据，分析和评估广泛存在的P2P网络系统的工作情况。运用系统日志与行为跟踪方法，规定每一个兼职角色任务，利用模拟方法准确地获取网络的基本特征、用户的动态行为和所包含的P2P协议的互相作用。文中介绍了一个开放式体系结构的仿真框架，通过仿真评估和分析系统收效情况来检验本文的工作，结果显示LSCC在大规模，动态和异构环境中有较好的适应性。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 客户机/服务器模式
• 1.2 Peer-to-Peer系统简介
• 1.3 关于客户机/服务器模式与P2P模式的比较
• 1.4 问题概述
• 1.5 论文的目标
• 1.6 主要研究工作及创新点
• 1.7 本文的组织结构
• 第2章 关于P2P网络系统研究现状
• 2.1 图论和网络
• 2.1.1 图的基本概念
• 2.1.2 de Bruijn图
• 2.2 Small-world Network（W-S 小世界网络模型）
• 2.3 Scale-free Networks（无标度网络）
• 2.4 P2P的现有产品与有关研究概况
• 2.5 对系统性能有关标准的定义
• 2.5.1 可升级性
• 2.5.2 可伸缩性
• 2.5.3 正确性
• 2.5.4 可靠性
• 2.5.5 防错与容错
• 2.5.6 安全性
• 2.5.7 效率
• 2.5.8 自治
• 2.5.9 扩充性与延展性
• 2.5.10 异构和负载平衡
• 2.5.11 匿名和安全
• 2.6 本章小结
• 第3章 覆盖网络需求分析
• 3.1 大型综合应用系统的需求
• 3.1.1 大型文件共享系统
• 3.1.2 电子政务系统
• 3.1.3 电子商务系统
• 3.1.4 多媒体组播系统
• 3.1.5 大型多媒体应用系统
• 3.1.6 大型网络游戏
• 3.1.7 道路交通管理系统
• 3.1.8 复杂网络需求总结
• 3.2 覆盖网络功能组成
• 3.2.1 用户主导的有关操作
• 3.2.2 系统主导的有关操作
• 3.3 覆盖网络总体设计
• 3.4 分布式散列表（DHT）的重要属性
• 3.4.1 Chord
• 3.4.2 基于de Bruijn的DHTs
• 3.4.3 其它可供借鉴的方法
• 3.5 混合拓扑结构的设计案例
• 3.5.1 JXTA
• 3.5.2 Brocade
• 3.5.3 SHARK
• 3.5.4 OceanStore
• 3.5.5 PIER
• 3.6 在混合式的设计方案设计过程中需要注意的问题
• 3.7 本章小结
• 第4章 覆盖网络结构
• 4.1 设计目标
• 4.2 有关定义与规定
• 4.2.1 用于每个DHT的定义
• 4.3 基本设计思想
• 4.3.1 分簇
• 4.3.2 索引
• 4.3.3 对等点证明方案
• 4.3.4 扩展性实现方法
• 4.4 网络管理的过程
• 4.5 本章小结
• 第5章 协议和角色机制
• 5.1 概述
• 5.2 协议基础和节点间通讯
• 5.2.1 普通协议功能
• 5.2.2 角色间通讯模型
• 5.2.3 连接器
• 5.3 路由器
• 5.3.1 路由算法
• 5.3.2 路由消息
• 5.4 维护器
• 5.4.1 功能性
• 5.4.2 维护消息
• 5.5 索引
• 5.5.1 索引功能
• 5.5.2 索引消息
• 5.6 缓存
• 5.6.1 概述
• 5.6.2 索引缓存机制设计
• 5.6.3 算法
• 5.7 安检器
• 5.8 数据集散器
• 5.9 角色间工作关系设定
• 5.9.1 查找请求
• 5.9.2 资源广告
• 5.9.3 加入请求
• 5.10 本章小结
• 第6章 系统实现与系统工作过程
• 6.1 最优角色分配的意义
• 6.2 几种分布式随机生成模型
• 6.3 实验分析方法
• 6.3.1 度量法分析
• 6.3.2 临界因子
• 6.3.3 实验观察的数据
• 6.4 模型
• 6.4.1 节点生命周期模型
• 6.4.2 文件共享系统节点运行时间模型
• 6.4.3 节点角色代价模型
• 6.5 优化
• 6.5.1 优化条件
• 6.5.2 优化标准
• 6.5.3 使命时间估计
• 6.5.4 代价优化
• 6.5.5 举例
• 6.6 聚集持久性
• 6.7 本章小结
• 第7章 体系结构仿真方案
• 7.1 概述
• 7.2 仿真器介绍
• 7.2.1 功能层
• 7.2.2 组件
• 7.2.3 仿真引擎
• 7.3 底层网络支持
• 7.4 角色分配
• 7.5 消息控制
• 7.6 本章小结
• 第8章 评价及实验
• 8.1 实验描述
• 8.2 可升级性
• 8.2.1 对最短路径分布的影响
• 8.2.2 对平均查询长度的影响
• 8.3 节点间距离
• 8.4 路由工作负载分布
• 8.4.1 查询负载分布
• 8.4.2 工作负载分配和效率
• 8.4.3 没有自连接点的de Bruijn拓扑
• 8.5 维护代价和相关的集簇覆盖
• 8.5.1 集簇覆盖
• 8.5.2 簇样本分布
• 8.6 索引缓存机制
• 8.7 本章小结
• 第9章 总结与展望
• 9.1 总结
• 9.2 展望
• 参考文献
• 致谢
• 在读博士学位期间参加的科研项目
• 在读博士期间发表的论文
• 在读博士期间申请的专利