基于网格数据库的海量数据存储研究

论文摘要

随着信息技术的飞速发展,数据爆炸已成为一个突出问题,海量数据存储和管理技术一直是近几年的研究热点之一。传统的数据存储与管理方式已经很难满足海量数据存储在容量和性能方面的要求。网格数据库是数据库在数据网格环境下的应用,一方面使用数据网格技术,满足数据存储与处理在容量、性能、存储效率和安全性等方面的要求,另一方面使用数据库技术对数据进行结构化管理,为海量数据管理提供了一种新的解决方案。本文以OGSA-DAI为底层平台,针对以数据库为存储方式的数据资源设计并实现了网格数据库服务系统。元数据服务管理是系统设计的重点,通过将现有的元数据分类体系与网格数据库分层模式相结合,实现了一种新的元数据分类模式。在元数据管理中引入了针对元数据的二级Cache机制,显著地提高了访问效率。系统的核心功能模块为元数据服务管理（MSM）模块和网格数据库服务管理（GDSM）模块。MSM模块负责元数据的管理,提供基于元数据的服务发现和选择机制。GDSM模块负责对OGSA-DAI提供的各个基本服务进行组合、扩展,与MSM模块一起实现更加直观、方便的数据管理的功能。最后在局域网环境下对系统原型进行测试,实验结果表明设计方案是有效的。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 问题的提出
• 1.2 研究背景及意义
• 1.3 论文主要研究内容及组织结构
• 第二章 网格技术及数据网格相关知识
• 2.1 网格的定义及特点
• 2.2 数据网格
• 2.2.1 数据网格研究项目
• 2.2.2 数据网格提供的基本功能
• 2.2.3 数据网格关键技术
• 第三章 网格数据库相关研究
• 3.1 网格数据库
• 3.1.1 定义及研究意义
• 3.1.2 研究内容
• 3.2 有关的代表性研究项目
• 3.2.1 Globus 项目
• 3.2.2 Oracle 10G
• 3.2.3 AVAKI 项目
• 3.3 相关技术
• 3.3.1 Web Services 技术
• 3.3.2 基于XML 的数据描述
• 3.3.3 OGSI
• 3.3.4 OGSA-DAI
• 第四章 网格数据库研究与设计
• 4.1 研究目的
• 4.2 设计目标
• 4.3 服务管理设计
• 4.3.1 功能定义
• 4.3.2 GDSM 结构设计
• 4.4 元数据管理设计
• 4.4.1 元数据分类体系
• 4.4.2 元数据层次化设计与建模
• 4.5 元数据目录服务设计
• 4.5.1 元数据目录结构
• 4.5.2 元数据服务管理
• 4.5.3 元数据二级Cache 机制管理模型
• 4.5.4 MSM 工作模式与更新机制
• 第五章 系统实现与测试
• 5.1 实现环境
• 5.2 MSM 模块的关键实现
• 5.2.1 元数据目录与索引
• 5.2.2 元数据抽取策略与实现
• 5.2.3 Cache 置换算法
• 5.3 GDSM 模块关键实现
• 5.4 系统测试与分析
• 5.4.1 系统测试环境
• 5.4.2 功能测试
• 5.4.3 性能测试与分析
• 结论与展望
• 参考文献
• 在学期间所发表的学术论文
• 致谢