网格环境下基于多Replica的数据管理与传输模型的研究

论文摘要

数据网格以其良好的数据共享和协同工作能力,满足了诸如高能物理、气候模拟等数据密集型任务的需求。然而,由于动态复杂的网格环境中节点失效、网络突变等情况时有发生,使得网格环境中数据传输的速度和稳定性都无法得到保障,成为制约网格技术应用的“瓶颈”。Replica技术是数据网格中的关键技术,它在本地创建远程数据的副本,降低了网络延迟及带宽消耗,同时也形成了多副本并存的网格资源共享方式,这种方式为解决传输问题提供了机遇,于是开展基于多Replica的数据传输研究,成为解决网格数据传输速度和稳定性问题的重要途径。本文以提高网格环境中数据传输速度和稳定性为目标,采用Globus Toolkit中间件,开展将Replica技术融入数据传输的研究,主要工作体现在:(1)分析了网格数据管理及其Replica技术:总结了网格数据管理、Replica技术,并对论文所涉及的Replica定位和选择算法进行了分析;(2)研究了网格数据传输机制:从资源共享方式和传输协议两方面对比分析了不同资源共享方式、不同传输协议等对网格数据传输的影响;(3)实验分析了GridFTP协议的传输性能:对GridFTP并行传输、条状传输等进行了实验,通过性能分析,进一步证明了课题研究的重要意义;(4)提出了基于多Replica的数据传输模型MRT及其算法:提出了MRT模型,并定义了模型的组成元素及其间的映射关系;设计了模型的区域化多层次副本定位策略;并借鉴概率预测方法,在启发式算法的基础上设计了启发式动态任务分配算法,最后对策略和算法进行了复杂度分析;(5)设计和实现了模型的测试系统:从整体和模块两个方面对系统进行了设计和实现,并基于测试系统对模型的性能进行了实验。理论分析和实验结果表明,MRT模型有效地提高了数据传输的速度和稳定性,特别是在传输大文件时效果比较明显。

论文目录

• 中文摘要
• 英文摘要
• 第1章 前言
• 1.1 选题背景
• 1.2 相关研究现状
• 1.3 研究目标和内容
• 1.4 论文的组织结构
• 第2章 理论基础
• 2.1 网格理论基础
• 2.1.1 网格概念
• 2.1.2 网格中间件--Globus Toolkit
• 2.2 网格数据管理
• 2.2.1 网格数据管理的功能和特点
• 2.2.2 网格数据管理研究
• 2.3 Replica技术
• 2.3.1 Replica的引入
• 2.3.2 Replica技术的功能
• 2.3.3 Replica定位策略
• 2.3.4 Replica选择策略
• 2.4 本章小结
• 第3章 网格数据传输机制的研究
• 3.1 网格数据传输需求分析
• 3.2 拟解决方案
• 3.2.1 资源共享方式
• 3.2.2 传输协议
• 3.3 文件传输协议-FTP
• 3.3.1 FTP协议工作原理
• 3.3.2 传统FTP工作方式的弊端
• 3.4 网格文件传输协议-GridFTP
• 3.4.1 GridFTP特性分析
• 3.4.2 GridFTP的用户接口
• 3.5 FTP 和 GridFTP 的比较
• 3.6 GridFTP性能测试
• 3.6.1 测试环境
• 3.6.2 测试结果与分析
• 3.7 本章小结
• 第4章 基于多Replica的数据传输模型MRT
• 4.1 模型提出
• 4.2 MRT模型定义
• 4.3 MRT模型的Replica查找与定位策略
• 4.3.1 解决思路
• 4.3.2 区域化多层次副本定位策略
• 4.3.3 策略分析
• 4.4 MRT模型的任务分配算法
• 4.4.1 问题描述
• 4.4.2 启发式动态任务分配算法
• 4.4.3 算法流程
• 4.4.4 算法分析
• 4.5 本章小结
• 第5章 MRT模型的测试与分析
• 5.1 环境部署
• 5.1.1 硬件环境
• 5.1.2 软件环境
• 5.1.3 拓扑结构
• 5.2 系统设计
• 5.2.1 架构设计
• 5.2.2 数据库设计
• 5.3 主要模块的设计与实现
• 5.3.1 节点信息注册和获取
• 5.3.2 副本管理
• 5.3.3 传输调度
• 5.4 实验结果与分析
• 5.4.1 MRT模型及其算法性能
• 5.4.2 MRT测试系统评价
• 5.5 本章小结
• 第6章 结论与展望
• 6.1 工作总结
• 6.2 课题创新点
• 6.3 下一步研究方向
• 参考文献
• 致谢
• 个人简历和在学期间的研究成果