网格环境下基于多数据源的数据传输

论文摘要

数据密集型的科学与工程应用（如计算力学数值模拟、气象预测）需要在广域、分布式的计算环境中快速安全的传输海量的数据。因此在如何网格环境中高效、可靠、安全的传输海量文件是网格计算中的一个关键性研究课题。 本文所构建的网格环境下基于多数据源的数据传输工具MFTP是MASSIVE（Multidisciplinary Applications-Oriented Simulation and Visualization Environment）网格平台的重要组成部分。MASSIVE旨在构建面向多学科应用的模拟与可视化网格环境。MASSIVE网格平台处于工程应用与网格中间件之间,为用户提供一个图形化的网格应用集成开发环境,它建立在Globus Toolkit中间件之上并支持基于网格的计算流体力学与计算固体力学问题求解及可视化。 本文所论述的MFTP利用网格环境下存在的多个数据备份Replica,提出了一种基于Replica级别的并行传输方法以提高数据传输的性能。它的流程如下:用户输入一个逻辑文件名,MFTP调用网格的复制定位服务（Replica Location Service,RLS）获得文件所在的实际的物理存储地址（physical locations）;MFTP利用GridFTP提供的安全认证,部分文件传输,并行传输开始与用户选定的Replica进行安全认证并创建一个或多个数据通道,按照Replica负载量算法决定各个Replica的数据传输量大小传输数据块;最后MFTP根据各个数据块的偏移地址重新合并文件。MFTP在提高数据传输性能的同时,应用了GridFTP所具有的GSI（Grid Security Infrastructure）及Kerberos安全认证机制,因此它同时具备了GridFTP所具有的安全性能。实验表明,MFTP具有较好的数据传输性能和安全性能。

论文目录

• 第一章 绪论
• 1.1 研究背景
• 1.2 研究内容
• 1.3 论文的结构
• 第二章 网格介绍
• 2.1 网格的概念和目的
• 2.2 网格计算的发展过程与趋势
• 2.3 网格体系结构
• 2.3.1 五层沙漏结构
• 2.3.2 开放服务网格体系结构OGSA
• 2.4 网格计算项目简介
• 2.4.1 国外网格研究现状
• 2.4.2 国内网格研究现状
• 2.4.3 网格应用实例
• 2.5 网格计算面临的挑战和关键技术
• 第三章 Globus与MASSIVE网格平台
• 3.1 Globus
• 3.1.1 Globus的系统结构
• 3.1.2 网格安全基础设施
• 3.1.3 元计算目录服务
• 3.1.4 资源分配管理
• 3.1.5 数据管理
• 3.2 MASSIVE网格平台
• 3.2.1 MASSIVE项目介绍
• 3.2.2 MASSIVE网格平台的组成
• 3.2.2.1 信息服务
• 3.2.2.2 资源分配与任务管理
• 3.2.2.3 数据传输
• 第四章 MFTP的设计与实现
• 4.1 概述
• 4.2 GridFTP
• 4.2.1 并行传输
• 4.2.2 部分文件传输
• 4.3 RLS
• 4.3.1 RLS的体系结构
• 4.3.2 RLS的实现
• 4.4 MFTP的结构设计
• 4.S Replica负载量算法
• 4.5.1 非NWS算法
• 4.5.1.1 均量算法
• 4.5.1.2 循环算法
• 4.5.2 NWS算法
• 4.5.2.1 NWS静态算法
• 4.5.2.2 NWS动态算法
• 4.5.2.3 模拟NWS动态算法
• 4.5.3 算法比较
• 4.6 性能测试
• 4.6.1 测试平台
• 4.6.2 测试分析
• 第五章 总结与展望
• 参考文献
• 致谢