网格环境下基于驱动的可扩展数据管理研究

论文摘要

现有网格系统中间件中的数据管理系统大多以自身的独立开发为主,各自采用一种或者几种存储和传输机制,对数据资源类型扩展性方面较少考虑,这种情况导致了各个网格平台的数据管理系统之间共享资源很困难。同时网络上数据资源的存在方式多种多样,由不同的机构以不同的方式维护,并不都以需要的方式存在,要既保持原有方式以继续使用,又能让其可以被新的网格应用所使用。开发动态支持更多数据资源类型的可扩展数据管理成为必要。中国教育科研网格公共支撑平台CGSP(ChinaGrid Support Platform)中,数据管理模块作为核心模块之一,为用户及各种应用提供了高性能的分布式数据管理系统,管理网格中各种异构的存储资源。现有的CGSP数据管理模块,仅支持GridFTP文件系统,要加入新的数据资源类型支持,必须针对该数据资源类型修改出特定的模块源代码。另外,要实现与其他网格数据管理系统的互操作,也必须修改模块源代码,来使得CGSP的用户和各种应用可以透明的访问其他平台的数据和存储资源。基于驱动的可扩展数据管理,模拟驱动模式,提供动态增加新类型数据资源的功能,只需要按照规定的格式撰写驱动程序,可以使得CGSP支持除GridFTP之外的其他数据资源类型,如FTP、HTTP等;同时也解决了数据互操作中存在的需要修改源代码的问题,编写简单的驱动子模块就能让CGSP中的网格用户和应用能够访问SRB、GOS等网格中间件的数据存储资源。热插拔的机制使得驱动加入和离开都非常的便利,无需重新启动CGSP,就能对数据空间中支持的新类型数据资源空间进行更新。基于用户对应关系的访问权限控制,可以按照网格用户的要求由网格管理员对新类型数据资源的访问权限进行按需配置。通过实际测试表明了基于驱动的可扩展数据管理在CGSP数据服务中有着完整的功能实现,并能有效地将其他类型的文件系统和网格数据管理系统的数据资源加入到CGSP数据空间中并进行使用。同时,通过测试分析,表明通过CGSP来访问其他数据管理系统时的效率没有受到显著的影响。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 研究背景
• 1.2 数据管理及其扩展性的意义
• 1.3 国内外现状分析
• 1.4 论文的组织结构
• 2 CGSP 数据管理及其扩展性
• 2.1 CGSP 体系结构介绍
• 2.2 CGSP 数据服务模型
• 2.3 CGSP 数据管理扩展性概述
• 2.4 小结
• 3 基于驱动的可扩展数据管理机制分析
• 3.1 数据资源类型扩展分析
• 3.2 驱动模式的应用
• 3.3 驱动发现机制
• 3.4 元数据导入机制
• 3.5 访问权限控制和一致性
• 3.6 小结
• 4 系统实现和驱动实例
• 4.1 系统实现总体设计
• 4.2 主要实现技术
• 4.3 驱动程序实例
• 4.4 小结
• 5 系统测试及性能分析
• 5.1 测试环境
• 5.2 功能测试
• 5.3 性能测试
• 5.4 小结
• 6 总结及未来的工作
• 致谢
• 参考文献
• 附录1（攻读学位期间获得软件著作版权目录）