基于P2P技术的高性能存储服务器的研究与实现

论文摘要

“基于P2P技术的高性能存储服务器的研究与实现”是北京市科委“基于Ipv6的下一代互联网关键技术研发及产业化推进”项目课题“IPv6流媒体分发应用系统支撑系统的开发”的一个子课题。随着互联网的飞速发展，视频点播、IPTV等流媒体应用也发展迅速，迫切需要一个高性能内容分发系统来支撑业务的开展。其中存储服务器的性能是整个系统中最重要的环节。本文首先介绍了P2P技术的背景、发展、现状，通过建模和协议仿真器对BT协议的性能进行了研究和分析，在此基础上提出一个减轻BT种子压力的方法；对常用的网络服务器内部架构和多种事件分派机制进行了分析和比较，在此基础上提出了一个基于Linux平台的，采用异步事件驱动，遵循开放标准的、高性能、可扩展的存储服务器。本文详细介绍了存储服务器的设计与实现。存储服务器基于Linux平台，采取模块化的思想进行设计。系统各模块运行在一个基于异步事件驱动的系统运行框架之上。框架吸取常用的网络服务器框架的经验，针对高网络IO、高磁盘IO的特点，运用Linux2.6内核的最新特性进行优化，提供统一的事件的登记和回调接口，所有的操作都是通过登记事件，然后由框架检测到异步事件时回调相应的处理函数，整个过程都是异步的；通过对磁盘IO读写技术进行分析，结合异步事件驱动的框架，设计并实现了高效的磁盘异步IO模块，存储服务器通过异步事件接收并处理客户端的交互命令，通过磁盘异步IO模块获得数据，再通过异步事件驱动框架发送给客户端；对保存在磁盘上的文件采用特殊的映射机制，减少目录的深度并使文件分布均匀；对内存中的文件索引通过hash表进行管理，加快了文件索引的查询速度；服务器内部实现了对标准BT协议的解析，支持所有采用标准BT协议的客户端；设计并实现了采用BT技术的文件分发功能；最后，设计并实现了的单连接静态限速和多连接的动态限速算法，经测试表明连接的速率能非常有效地得到限制并且保持稳定。

论文目录

• 中文摘要
• Abstract
• 第一章 引言
• 1.1 课题研究背景
• 1.2 高性能存储服务器的需求
• 1.3 本文的工作和创新
• 1.4 本文的内容和组织
• 第二章 P2P介绍
• 2.1 P2P定义
• 2.2 P2P的背景和基础
• 2.3 P2P的分类
• 2.4 P2P的主要应用领域和相关系统
• 第三章 BT协议性能分析及减轻BT种子压力的方法研究
• 3.1 BT技术介绍
• 3.1.1 BT主体设计思想
• 3.1.2 BT系统的组成
• 3.1.3 BT会话过程
• 3.1.4 Peer交换协议
• 3.2 BT模型研究
• 3.2.1 简单流模型
• 3.2.2 稳定状态分析
• 3.2.3 文件共享的有效性分析
• 3.3 BT种子研究
• 3.3.1 BT种子分析
• 3.3.2 减轻BT种子压力方法
• 3.3.3 仿真试验
• 3.3.4 结论
• 第四章 高性能存储服务器的设计
• 4.1 PPCDN系统
• 4.1.1 PPCDN系统的功能介绍
• 4.2 高性能存储服务器的需求和目标
• 4.3 存储服务器的运行环境与整体设计
• 4.3.1 基于Linux环境的程序框架开发
• 4.3.2 存储服务器系统整体设计
• 4.4 异步事件驱动的程序框架
• 4.4.1 常用的网络服务程序模式框架研究
• 4.4.2 异步事件驱动框架的概述
• 4.4.3 异步事件驱动框架的设计
• 4.4.4 异步事件驱动框架的实现
• 4.4.5 异步事件框架的使用
• 4.5 异步IO模块
• 4.5.1 磁盘IO吞吐量分析
• 4.5.2 异步IO技术研究
• 4.5.3 异步IO设计
• 4.6 文件管理模块
• 4.6.1 磁盘文件组织
• 4.6.2 内存文件索引结构
• 4.7 索引服务器通信模块
• 4.7.1 索引服务器介绍
• 4.7.2 协议消息设计
• 4.8 内容发布模块
• 4.8.1 内容发布过程概述
• 4.8.2 内容发布模块的设计
• 4.9 文件下载模块
• 4.9.1 下载过程概述
• 4.9.2 文件下载模块设计
• 4.9.3 Peer解阻塞算法
• 4.10 限速模块
• 4.10.1 单连接静态限速
• 4.10.2 多连接动态限速
• 4.10.3 限速测试
• 4.11 内存管理模块
• 4.12 小结
• 第五章 结论和展望
• 参考文献
• 致谢
• 攻硕期间取得的研究成果