论文摘要
空间科学是研究发生在日地空间、行星际空间及至整个宇宙空间的物理、天文、化学及生命等自然现象及其规律的科学。空间科学观测和研究过程中将产生数量巨大、种类繁多、数据结构复杂、计算密集型的科学数据,有效地存储、管理、共享这些科学数据已经成为空间科学应用研究迫切需要解决的一个重要问题。本文充分分析了海量空间科学数据的特征,深入研究了HDF(Hierarchy Data Format)、CDF(Common DataForm)等新的存储技术。在此基础上,提出一种新的空间科学大数据自描述存储模型SP-HDF(Space-HDF)。考虑到目前标准化和非标准化数据并存的情况,作者提出了一种基于元数据描述的虚拟观测站点共享服务模型。本文的研究成果及创新点包括:(1)提出一种针对空间科学大数据存储管理和集成共享的自描述存储模型SP-HDF。针对空间天气和子午工程空间科学数据的特点和逻辑结构,设计了相应的逻辑存储结构,在此基础上,为用户设计了简单、易用、友好的数据访问接口。SP-HDF存储模型的优势在于屏蔽了用户直接访问底层HDF和CDF文件的细节,因而降低了数据访问的复杂性。另一方面逻辑存储结构直接面向领域应用,提升了数据访问粒度和数据抽象级别,在实际应用中更加易于理解。(2)针对目前大量空间科学数据在短期内无法完全标准化的现状,提出一种基于虚拟观测站点的共享服务模型。该模型通过共享服务元数据模型和抽象数据服务接口,实现多元、异构科学数据的集成和共享服务。(3)设计并研发了一个基于SP-HDF存储模型的空间天气科学数据逻辑结构及各种大数据服务接口的原型系统。通过对核心数据接口的访问,原型系统实现了与数值模拟、可视化等多个系统的集成应用。验证了基于虚拟观测站点的共享服务模型的子午工程数据服务接口原型,实现了数据检索、数据下载、数据可视化等多个功能。(4)设计并实现了基于XML半形式化描述和数据处理模板技术的子午工程科学数据标准化处理模型,解决了多元、异构、海量空间科学数据的高效处理和灵活定制的困难问题。
论文目录
相关论文文献
标签:空间天气科学数据论文; 存储模型论文; 虚拟观测站论文; 数据标准化论文;