基于资源网格的数据传输模型及策略的研究

论文摘要

网格是当前高性能计算方面研究的一个热点问题,被称为下一代计算机网络的基础。网格的目的是利用互联网把分散在不同地理位置的电脑组织成一台虚拟的超级计算机,实现计算资源、数据资源、软件资源、通信资源等的全面共享。网格技术的发展以数据的传输技术为基础,几乎所有业务流程都需要对共享数据进行可靠、快速的访问。数据传输技术是网格中的重要技术,是实现在多副本并存的网格环境中各种资源传输的关键技术。网格资源规模庞大、位置分散,因此需要一种健壮的传输机制。由于网格技术在资源共享方面的巨大优势,其应用范围必将随着自身的发展和成熟而不断扩大,并逐渐渗透到教育领域。教育资源网格作为数据网格的一种,具有分布性、异构性、自治性、动态性和层次性等特点。结合教育资源网格中资源分布的特点,分析了教育资源网格中的数据传输需求,提出了一种新的数据传输模型。Replica技术是数据网格中的关键技术,它在本地创建远程数据的副本,降低了网络延迟及带宽消耗,同时也形成了多副本并存的网格资源共享方式,这种方式为解决传输问题提供了机遇。本文以提高资源网格中资源访问效率为目标,在GridFTP协议的基础上,引入Replica技术,开展对资源网格中数据传输模型及相关策略的研究,主要工作体现在:（1）介绍了网格的概念和特征,讨论了网格的3种体系结构以及Globus项目等工具包,深入研究了Web Service技术和开放网格体系结构OGSA以及网格服务等相关知识,比较了Web Service与网格服务的异同点,实验说明了可以利用Web Service技术来增加网格服务的功能。（2）分析了网格环境中数据传输的需求,介绍了网格传输协议GridFTP,重点研究了其支持的多种传输类型和传输模式。在Globus Toolkit 4.0提供的GridFTP数据传输服务功能的基础上,分别在有无网格服务的两种环境下对GridFTP的传输性能进行了研究,实验说明了OGSA提供的网格服务有利于改善GridFTP的传输性能。（3）明确了Replica技术的涵义,总结了当前Replica的关键技术,对文中所涉及的副本定位和选择算法进行了分析。提出了多副本部分文件传输模型MPT,给出了模型的定义和最佳副本数量的选择方法,设计了区域化多层次副本定位策略MPT-RL来进行副本的查找与定位,定义了模型的任务分配算法,设计与实现了模型的部分模块功能。（4）研究了资源网格中的数据传输策略,包括:副本发现定位策略,提高传输性能的策略等。针对网格服务在GridFTP跨异构平台传输时存在的不足,提出了基于网格服务的传输性能的改进机制。最后,对本文的工作进行了总结,提出了与该课题相关方面值得进一步研究的内容。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景及意义
• 1.2 国内外研究现状及趋势
• 1.3 本文的主要研究工作
• 1.4 本文的组织结构
• 第二章 理论基础
• 2.1 网格的概念和特征
• 2.2 网格体系结构
• 2.3 GridFTP 协议
• 2.3.1 GridFTP 的基本特点
• 2.3.2 第三方控制的数据传输
• 2.3.3 并行数据传输
• 2.3.4 条状（Striped）数据传输
• 2.3.5 数据分块传输
• 2.3.6 数据传输模式
• 2.4 本章小结
• 第三章 基于Web Service 的网格服务功能的研究
• 3.1 Web Service 概述
• 3.2 开发部署Web Service
• 3.2.1 WSread 的开发及部署
• 3.2.2 WSspeed 的开发及部署
• 3.3 Web Service 的客户端测试
• 3.3.1 WSread 工程的客户端测试
• 3.3.2 WSspeed 工程的客户端测试
• 3.4 在 Globus Toolkit 4.0 环境下部署网格服务
• 3.4.1 在tomcat 下部署GT4
• 3.4.2 在GT4 下部署网格服务
• 3.4.3 部署服务到容器中
• 3.5 将Web Service 实例部署到网格服务容器
• 3.6 本章小结
• 第四章 基于网格服务的GridFTP 传输性能的研究
• 4.1 网格服务概述
• 4.2 基于网格服务的数据传输的基本原理
• 4.3 配置Globus Toolkit 4 环境
• 4.4 安装配置Java CoG Kit
• 4.4.1 Windows 下安装配置 Java CoG Kit
• 4.4.2 Linux 下安装配置 Java CoG Kit
• 4.5 GridFTP 传输性能的研究
• 4.5.1 未启动网格服务功能
• 4.5.2 启动网格服务功能
• 4.6 基于网格服务的GridFTP 传输性能的改进
• 4.6.1 proxy-stub 模型介绍
• 4.6.2 网格服务调用模型
• 4.6.3 网格服务改进的几种方法
• 4.7 本章小结
• 第五章 基于资源网格的数据传输模型及策略的研究
• 5.1 Replica 概述
• 5.2 多副本部分文件传输模型MPT
• 5.2.1 MPT 模型提出
• 5.2.2 MPT 模型定义
• 5.2.3 最佳副本数量的选择
• 5.2.4 MPT 模型的副本查找与定位策略
• 5.2.5 MPT 模型的任务分配算法
• 5.2.6 MPT 模型客户端
• 5.3 MPT 模型的实现
• 5.3.1 环境部署
• 5.3.2 模块的设计与实现
• 5.4 资源网格中数据传输策略的研究
• 5.4.1 网格服务在 GridFTP 跨异构平台传输时存在的不足
• 5.4.2 基于网格服务的传输性能的改进机制
• 5.4.2.1 并行数据传输
• 5.4.2.2 数据压缩
• 5.4.2.3 数据编码
• 5.4.2.4 缓冲区调整
• 5.4.2.5 故障恢复
• 5.5 本章小结
• 第六章 总结及展望
• 6.1 总结
• 6.2 进一步的工作
• 参考文献
• 攻读研究生期间发表的论文及参与的项目
• 致谢