空间科学大数据存储模型SP-HDF及应用研究

空间科学大数据存储模型SP-HDF及应用研究

论文摘要

空间科学是研究发生在日地空间、行星际空间及至整个宇宙空间的物理、天文、化学及生命等自然现象及其规律的科学。空间科学观测和研究过程中将产生数量巨大、种类繁多、数据结构复杂、计算密集型的科学数据,有效地存储、管理、共享这些科学数据已经成为空间科学应用研究迫切需要解决的一个重要问题。本文充分分析了海量空间科学数据的特征,深入研究了HDF(Hierarchy Data Format)、CDF(Common DataForm)等新的存储技术。在此基础上,提出一种新的空间科学大数据自描述存储模型SP-HDF(Space-HDF)。考虑到目前标准化和非标准化数据并存的情况,作者提出了一种基于元数据描述的虚拟观测站点共享服务模型。本文的研究成果及创新点包括:(1)提出一种针对空间科学大数据存储管理和集成共享的自描述存储模型SP-HDF。针对空间天气和子午工程空间科学数据的特点和逻辑结构,设计了相应的逻辑存储结构,在此基础上,为用户设计了简单、易用、友好的数据访问接口。SP-HDF存储模型的优势在于屏蔽了用户直接访问底层HDF和CDF文件的细节,因而降低了数据访问的复杂性。另一方面逻辑存储结构直接面向领域应用,提升了数据访问粒度和数据抽象级别,在实际应用中更加易于理解。(2)针对目前大量空间科学数据在短期内无法完全标准化的现状,提出一种基于虚拟观测站点的共享服务模型。该模型通过共享服务元数据模型和抽象数据服务接口,实现多元、异构科学数据的集成和共享服务。(3)设计并研发了一个基于SP-HDF存储模型的空间天气科学数据逻辑结构及各种大数据服务接口的原型系统。通过对核心数据接口的访问,原型系统实现了与数值模拟、可视化等多个系统的集成应用。验证了基于虚拟观测站点的共享服务模型的子午工程数据服务接口原型,实现了数据检索、数据下载、数据可视化等多个功能。(4)设计并实现了基于XML半形式化描述和数据处理模板技术的子午工程科学数据标准化处理模型,解决了多元、异构、海量空间科学数据的高效处理和灵活定制的困难问题。

论文目录

  • 摘要
  • Abstract
  • 第一章 概述
  • 1.1 研究背景
  • 1.2 问题的提出
  • 1.3 国内外研究现状
  • 1.4 项目依托
  • 1.5 研究的内容与目标
  • 1.6 论文组织结构
  • 1.7 本章小结
  • 第二章 空间科学数据特征及分类
  • 2.1 空间科学数据及其特征
  • 2.2 子午工程及其科学数据
  • 2.3 空间天气科学数据
  • 2.4 本章小结
  • 第三章 空间科学数据传统存储方案
  • 3.1 空间科学数据的传统存储方案
  • 3.2 空间科学大数据的存储要求
  • 3.3 HDF 与 CDF 存储模型的特点与不足
  • 3.4 本章小结
  • 第四章 SP-HDF 存储模型框架及设计
  • 4.1 SP-HDF 存储模型概述
  • 4.2 SP-HDF 存储映射层设计
  • 4.3 SP-HDF 逻辑存储层设计
  • 4.4 SP-HDF 接口层设计
  • 4.5 SP-HDF 应用层设计
  • 4.6 本章小结
  • 第五章 空间科学大数据标准化处理
  • 5.1 子午工程空间科学大数据标准化处理流程
  • 5.2 子午工程科学大数据的标准化处理模型
  • 5.3 基于负载均衡的标准化处理性能优化
  • 5.4 标准化处理及性能优化的应用效果
  • 5.5 本章小结
  • 第六章 空间科学大数据的共享服务模型
  • 6.1 空间科学大数据的共享服务基本要求
  • 6.2 基于虚拟观测站点的共享服务模型
  • 6.3 共享服务元数据模型
  • 6.4 子午工程数据服务接口原型
  • 6.5 本章小结
  • 第七章 结论与展望
  • 7.1 论文主要工作及创新点
  • 7.2 展望
  • 致谢
  • 参考文献
  • 附录 1:基于 XML 的标准化处理模板范例
  • 附录 2:写入空间天气数据程序代码
  • 附录 3:个人简历
  • 一、教育经历
  • 二、发表相关学术论文
  • 三、参加科研项目
  • 相关论文文献

    标签:;  ;  ;  ;  

    空间科学大数据存储模型SP-HDF及应用研究
    下载Doc文档

    猜你喜欢