基于数据模板的空间科学数据加工模型的设计与实现

基于数据模板的空间科学数据加工模型的设计与实现

论文摘要

空间科学技术是高度综合的现代科学技术,它的发展融合了众多新兴学科与技术,且在实际应用方面已取得了很大进展,如卫星通信、GPS导航、气象观测、航空航天等方面。我国近年来的空间科学技术发展迅速,但目前尚处于起步阶段,比之于欧美发达国家仍相对滞后。随着我国航天和空间技术的发展,对自主空间环境保障提出了日益迫切的需求。子午工程正是顺应这样的需求而建设的,其目标是建设一个能在地面持续运行的、综合性的、跨区域的大型空间环境观测网络。子午工程对于充分发挥中国地域优势,获取空间环境数据,了解中国上空空间天气变化规律并进行预报,都有极其重要的科学意义和应用价值。用于监测空间天气的仪器种类繁多,且仪器观测获取的科学数据,具有数据量大、元数据信息丰富、科学数据格式,内容复杂多样等特点。面对这些繁杂的数据,如何进行有效的整合与加工处理,获取我们需要的信息,并进一步服务于相关的科学研究就显得尤为重要。本文主要研究子午工程数据产品加工服务模型,依据子午工程项目需求,该模型为空间科学数据定制了标准化文件格式并提供数据产品加工服务。针对原始观测数据文件的结构与特点,产品加工服务模型采用基于“Twisted”的非阻塞异步服务模型,引入了“数据模板”用于描述数据文件。模板文件指定了对相应数据文件元数据信息的描述、数据的解析、标准化、可视化等操作,规定了中央控制模块及加工服务模块对观测数据、加工请求的处理方式,大大提高了系统的灵活性与可扩展性。本系统使用CDF(Common Data Format)作为观测数据的标准文件格式。CDF具备较好的自我描述性,且具备灵活性、可扩展性、易于处理复杂数据等特点。本文首先介绍了数据产品加工模型的相关概念、课题背景等,其次对模板结构设计和CDF文件格式做了相应的研究和分析,然后对产品加工模型的服务框架,功能结构等进行了讲述,最后简要说明了加工模型的逻辑结构及具体实现。另外,笔者对数据产品加工服务模型作了相关总结,考虑到加工服务模型的可维护性及可扩展性及目前存在的不足,还作了相关的展望。

论文目录

  • 摘要
  • Abstract
  • 第一章 绪论
  • 1.1 产品加工模型概述
  • 1.1.1 产品加工模型的概念
  • 1.1.2 产品加工模型的目的
  • 1.2 课题背景
  • 1.3 研究的内容和意义
  • 1.4 论文组织结构
  • 第二章 数据模板结构设计
  • 2.1 模板文件的引入
  • 2.1.1 数据文件格式、类型复杂多样
  • 2.1.2 加工模型的灵活性,可扩展性需求
  • 2.1.3 真实数据的格式与接口标准往往不一致
  • 2.2 模板结构设计
  • 2.2.1 原始数据特点
  • 2.2.2 模板结构定义
  • 2.2.3 模板框架结构
  • 2.3 模板在加工模型中的作用
  • 2.3.1 数据模板是产品加工模型与科学数据之间的纽带
  • 2.3.2 数据模板的解析规则
  • 第三章 CDF 文件及在加工模型中的应用
  • 3.1 CDF 文件概述
  • 3.1.1 CDF 格式特点
  • 3.1.2 CDF 的文件机制
  • 3.2 CDF 在加工模型中的应用
  • 3.3 CDFPY 模块
  • 第四章 产品加工服务模型设计
  • 4.1 设计目标
  • 4.2 设计框架
  • 4.2.1 中央控制模块
  • 4.2.2 加工服务模块
  • 4.3 功能模块结构设计
  • 4.4 主要技术
  • 4.4.1 产品加工模型框架--Twisted
  • 4.4.2 科学计算及可视化
  • 4.4.3 SQLAlchemy 和Elixir
  • 4.4.4 XML-RPC 在加工模型中的应用
  • 第五章 产品加工服务模型的实现
  • 5.1 加工服务模型模块分解
  • 5.2 加工服务关键技术
  • 5.2.1 数据模板
  • 5.2.2 基于twisted 的非阻塞异步服务模型
  • 5.2.3 XML-RPC 的应用
  • 5.3 加工模型的实现
  • 5.3.1 数据产品可视化服务的运行流程
  • 5.3.2 数据产品加工服务的实现
  • 第六章 总结与展望
  • 致谢
  • 参考文献
  • 附录
  • 相关论文文献

    标签:;  ;  ;  

    基于数据模板的空间科学数据加工模型的设计与实现
    下载Doc文档

    猜你喜欢