数据网络中联邦数据服务关键技术的研究与实现

论文摘要

近年来,各种大型科学研究,信息服务,多媒体应用等领域的数据呈爆炸式增长。对这些地理上分布的海量数据进行一体化访问,传输与管理的需求也日益突出。数据网格技术正是解决这种需求的一种有效的途径,也是目前国际计算机界研究的一个热点。联邦数据服务是数据网格的核心服务之一,它向数据网格的用户提供对广域分布的,异构存储资源的统一访问服务。本课题组对数据网格的关键技术进行了深入的研究,自主设计和实现了一个通用的数据网格中间件—网格数据引擎GridDaEn,它能够对分布异构的海量数据进行统一的访问,传输与管理,为广域的数据密集型应用和研究提供高性能的支撑平台。本文对数据网格中联邦数据服务的关键技术进行了研究。首先,本文研究了对广域分布异构的存储资源的无缝集成问题,提出了一种基于自治模式的联邦数据服务模型,并阐述了模型中各角色的行为、特征、组织、管理和交互。其次,本文研究了多域之间的有效协同问题,提出了一种“基于服务重组”的多域协同算法,以减少通讯次数,提高系统效率。此外,本文还研究了联邦数据服务的Cache管理机制、会话管理机制和安全机制。在这些工作的基础上,设计和实现了GridDaEn数据网格系统的核心组成部分联邦数据服务系统FDSS以及FDSS的基本数据服务提供单元数据请求代理服务器DRB。本文的研究成果不但应用在网格数据引擎GridDaEn中,并且在中国国家网格的环境下进行了广泛的测试。测试结果表明,联邦数据服务系统FDSS能够实现多域之间一致和高效的协同。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 网格和数据网格概述
• 1.2 课题背景、内容、意义
• 1.3 论文的组织结构
• 第二章 数据网格研究现状和发展趋势
• 2.1 数据网格国外研究现状
• 2.1.1 Globus Project and Globus Toolkit
• 2.1.2 Sybase Avaki Enterprise Information Integration
• 2.1.3 Enabling Grids for E-sciencE
• 2.1.4 Storage Resource Broker
• 2.1.5 Global Grid Forum
• 2.2 数据网格国内研究现状
• 2.3 比较与分析
• 2.4 数据网格技术的发展趋势
• 第三章 数据网格与联邦数据服务研究
• 3.1 数据网格应用特征
• 3.2 联邦数据服务及其关键技术
• 3.3 联邦数据服务模型研究
• 3.3.1 网格数据提供者
• 3.3.2 网格数据消费者
• 3.3.3 联邦数据服务系统
• 第四章 基于服务重组的多域协同算法
• 4.1 基本思想
• 4.2 多域协同算法模型
• 4.3 算法分析与比较
• 4.4.1 算法的特点
• 4.4.2 算法的不足
• 第五章 联邦数据服务系统体系结构与设计实现
• 5.1 术语
• 5.2 GridDaEn 数据网格体系结构
• 5.2.1 GridDaEn 数据网格系统总体结构
• 5.2.2 GridDaEn 数据网格系统功能结构
• 5.3 联邦数据服务系统体系结构
• 5.3.1 数据请求代理服务器DRB
• 5.3.2 FDSS 客户端
• 5.3.3 FDSS 系统结构
• 5.3.4 FDSS 的联邦数据服务
• 5.4 联邦数据服务系统设计与实现
• 5.4.1 GridDaEn 中的命名机制
• 5.4.2 统一访问
• 5.4.2.1 数据访问层次
• 5.4.2.2 访问协议驱动层
• 5.4.2.3 访问协议适配层
• 5.4.2.4 数据服务接口层
• 5.4.3 联邦数据服务
• 5.4.3.1 本域数据服务
• 5.4.3.2 多域联邦数据服务
• 5.4.4 会话管理
• 5.4.4.1 会话状态保持
• 5.4.4.2 会话生命周期
• 5.4.4.3 登陆会话限制
• 5.4.5 Cache 管理
• 5.4.5.1 映象规则
• 5.4.5.2 查找方法
• 5.4.5.3 替换算法
• 5.4.5.4 写策略
• 5.4.6 副本管理
• 5.4.6.1 副本创建
• 5.4.6.2 副本定位和选择
• 5.4.6.3 副本的一致性维护
• 5.4.7 安全机制
• 5.4.8 客户端软件
• 第六章 系统部署与测试
• 6.1 功能测试
• 6.2 性能测试
• 第七章 结束语
• 7.1 课题所做工作
• 7.2 下一步的工作
• 致谢
• 硕士期间论文发表情况
• 参考文献
• 附录A 客户端统一访问API 函数列表
• 附录B 客户端命令行程序列表