一种高性能资源索引服务器的设计与实现

论文摘要

资源定位是P2P网络的核心问题之一,也是P2P网络研究的热点。资源定位机制直接关系到P2P应用系统（例如P2P文件共享系统等）的性能和可扩展性。P2P的资源定位模型,按照网络拓扑结构可分为四种:中心拓扑的定位模型,分布式非结构化的定位模型,分布式结构化的定位模型和混合式定位模型。在P2P文件共享系统中,既有传统的集中式资源定位模型,如Napster;又有使用非常广泛的分布式非结构化资源定位模型,如Gnutella;还有目前最受研究者们关注的基于DHT（分布式哈希表）的分布式结构化资源定位模型。集中式资源定位模型的目录索引和定位信息维护简单,资源定位效率高,并且支持复杂关键字的查询,但存在中央服务器的单点失效问题,成本高,可扩展性差并存在版权方面的问题;分布式非结构化资源定位模型解决了单点失效的问题,整个系统的容错性好,但是资源定位机制复杂,定位延迟大并产生大量冗余信息,白白消耗大量带宽;结构化P2P资源定位模型使用DHT进行资源定位,资源定位效率高,可扩展性好,但是只支持关键字的精确查找,且没有考虑节点间的物理位置信息。本文在北京市科委“基于IPv6的下一代互联网关键技术研发及产业化推进”项目课题“IPv6流媒体分发应用系统支撑系统的开发”的带动下,综合了集中式和分布式结构化资源定位模型的优点,提出了一种混合式分层的P2P网络资源定位模型-上层采用基于Chord的DHT结构,下层是非结构化子网,并对该资源定位模型中的资源索引服务器（Index Server in Hybrid P2P Network,ISHPN）进行了设计和实现。ISHPN基于Linux平台,采用模块化的思想进行设计,系统各模块运行在一个基于异步事件驱动的程序框架之上;针对资源索引服务器高网络IO的特点,采用Linux2.6内核的epoll机制进行网络事件监测,是一个单线程非阻塞、高性能的集中式索引服务器。ISHPN是构成本文混合式P2P网络资源定位模型上层Chord型主干网络的基本元素,并为下层非结构化子网提供集中式资源发布及索引服务。子网节点按照与ISHPN的物理距离进行聚类,并可以通过ISHPN在子网内以及Chord型主干网上进行资源发布及索引,资源定位速度快,可扩展性强。经系统压力测试,该资源索引服务器能够很好的支持大量节点的并发连接,使用自定义的功能协议,能够通过添加新的模块支持更多的开放标准协议。上层由资源索引服务器构成的DHT网络也使整个资源定位模型具有优秀的可扩展性,给中小型机构提供了一种低成本、高性能的文件共享方案。

论文目录

• 中文摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 本文的工作及创新
• 1.3 本文的内容和组织
• 第二章 P2P 技术概述
• 2.1 P2P 的定义
• 2.2 P2P 的特征
• 2.3 P2P 模式的分类
• 2.4 P2P 的应用
• 第三章 P2P 系统资源定位机制的研究及典型系统分析
• 3.1 引言
• 3.2 集中式资源定位模型
• 3.3 非结构化P2P 资源定位模型
• 3.3.1 传统的泛洪资源定位机制研究
• 3.3.2 Gnutella 系统研究
• 3.3.3 非结构化P2P 系统资源定位机制的优化技术研究
• 3.4 结构化P2P 资源定位模型
• 3.4.1 DHT 介绍
• 3.4.2 Chord 系统研究
• 3.5 混合式P2P 资源定位模型
• 3.6 小节
• 第四章 高性能资源索引服务器的概要设计
• 4.1 概述
• 4.1.1 HHPRLM 模型介绍
• 4.1.2 高性能资源索引服务器（ISHPN）的系统框架
• 4.2 索引服务器概要设计
• 4.2.1 节点交互模块
• 4.2.2 ISHPN 交互模块
• 4.2.3 资源管理模块
• 4.3 ISHPN 的运行环境和程序框架
• 4.3.1 基于 Linux 环境的程序开发
• 4.3.2 基于异步事件驱动的程序框架
• 4.4 ISHPN 的主要数据结构设计
• 4.4.1 peer 列表（peerList）
• 4.4.2 节点信息管理列表
• 4.4.3 资源信息管理列表
• 4.4.4 ISHPN 的 finger 表
• 4.5 小结
• 第五章 高性能资源索引服务器的详细设计
• 5.1 节点交互模块详细设计
• 5.1.1 协议设计
• 5.1.2 模块设计
• 5.2 ISHPN 交互模块详细设计
• 5.2.1 协议设计
• 5.2.2 模块设计
• 5.3 资源管理模块详细设计
• 5.4 小结
• 第六章 资源索引服务器压力测试及性能分析
• 6.1 负载发生器的设计和ISHPN 性能参数
• 6.1.1 ISHPN 的性能参数
• 6.1.2 负载发生器的设计
• 6.2 ISHPN 压力测试及结果分析
• 6.3 小结
• 第七章 结论和展望
• 7.1 主要结论
• 7.2 资源索引服务器的特点及改进方向
• 致谢
• 参考文献
• 附录1 CAgent::GoToNextState 函数核心伪代码
• 攻硕期间取得的研究成果