海洋实时监测数据流处理优化策略研究

论文摘要

随着数字海洋一期中对辅助决策系统的进一步研究，现已基本将整体框架建立完备，包括数据源：海洋台站和卫星采集的实时监测数据；传输网络：远海洋数据传输专线和近、中距离3G无线传输网；数据接收站：各级海洋站、海洋中心站和海区中心站。并基本实现了历史海洋监测数据的入库存储，具不完全统计，已经入库存储的海洋历史监测数据量达到2TB，海量的历史监测数据是过往海洋演变过程的重要记录，这些数据将会成为海洋灾害发生时生成辅助决策预案的重要数据和知识支撑，当海洋灾害发生时如何充分的利用这些宝贵的历史数据与最新的海洋实时监测数据进行快速、高效的匹配分析以生成辅助决策预案，并且如何在无海洋灾害时将采集到的实时监测数据在更加节约人力和财力的硬件情况下对数据进行高效能的存储成为了当今数字海洋体系研究的热点和前沿。本论文的研究内容来国家数字海洋上海示范区项目源于国家海洋局“数字海洋”908专项科研课题，旨在解决海洋数字化及综合利用等问题。在数字海洋系统中实时数据的存储机制无法实现动态均衡存储，并且当灾害发生时无法在海量的历史数据中快速准确的匹配相似灾情，不利于数字海洋辅助决策系统的功能发挥。私有云存储可以在节约人力和财力的情况下动态的将海洋实时监测数据分析并存储至相应的专题数据库，GPU协同CPU并行计算机制利用GPU处理流数据并行计算的特点，将数据流匹配分析过程得到优化，在保障了海洋监测数据在存储和匹配上的连续性，对于海洋监测数据连续动态均衡分配存储和高性能处理优化上具有重大研究意义。本文以数字海洋中数据流模型为研究基础，针对海洋实时监测数据特点、存储结构及匹配机制进行深入的研究，分析了数字海洋辅助决策系统进行优化存储、高效能匹配计算机制和的几个热点问题，在此基础上，论文针对当前前沿的关于弹性均衡存储和高性能计算的理论进行了深入的分析与研究，根据数字海洋体系存储、分析的具体情况总体设计并实现了全新的数字海洋辅助决策系统框架。论文首先介绍了研究的背景、国内外数字海洋辅助决策系统研究现状以及论文的研究内容和研究意义。在探索私有云存储机制和GPU协同CPU并行计算理论在“数字海洋”辅助决策系统中的应用同时，论证并阐述了相关的理论基础以及关键实现技术，在此基础上，以建设上海海区数字海洋辅助决策系统为例，进行了系统的总体架构设计。新架构由于优化了实时数据存储机制以及基于并行计算理论进行的数据挖掘匹配机制，所以系统在可靠性、吞吐量、响应时间、资源利用率以及可扩展性方面都优于先前系统。通过研究国内外的私有云存储机制，研究表明当前主流的数据存储系统一般仅仅考虑存储节点内硬盘的负载率，但针对海洋实时监测数据的特点：以数据流形式存在的不间断性及融合多属性信息，以及数字海洋体系已建立传输机制：高带宽的海洋数据传输专线等特点，本文提出了对私有云内部各节点的多性能指标：内存负载率、硬盘负载率以及CPU负载率等多个参数共同进行监控的机制，该机制在综合的考虑了私有云子系统内部所有工作服务器的整体工作状态之后，利用私有云存储的动态负载均衡分配存储机制，将实时的海洋监测数据存储至当前负载率较低的服务器内。该方法的提出真正的满足了海洋监测数据流存储的要求。通过对国内外数字海洋体系以及辅助决策系统的调查研究，本文发现当前主流的系统在系统响应时间往往不甚理想，系统生成辅助决策信息的效率问题成为了当今系统的瓶颈，分析该共性问题，通过分析海洋实时监测数据的具体特点，本文得出以下结论：由于海洋实时监测数据流的高密集性以及GPU并行计算理论技术发展的趋势，GPU已经成为了具有多处理核心、高显存带宽，并且擅长处理以流数据形式存在的高密集性数据问题，所以本文提出了基于GPU协同CPU并行计算理论，本文构建的GPU协同CPU并行计算在利用了CPU逻辑计算优势的同时，利用GPU的高显存对监测数据流进行预处理、归一化处理等操作，最终实现在在GPU多处理核心内部与国家海洋监测标准数据利用DTW算法进行滑动窗口匹配分析。实验结果表明该系统以基本满足对海洋监测数据流存储的优化以及缩短了生成辅助决策系统的时间，由于国内外针对辅助决策系统没有规范及标准化流程和算法的现状，所以本研究的贡献意义不仅仅在于优化了处理海洋监测数据的数据流模型，同时该算法及其思想可以为今后的学者提供理论和实际的借鉴价值。

论文目录

• 摘要
• Abstract
• 第一章 引言
• 1.1 研究背景及意义
• 1.1.1 研究背景
• 1.1.2 研究意义
• 1.2 国内外研究现状
• 1.2.1 数据流模型理论现状
• 1.2.2 私有云存储理论现状
• 1.2.3 GPU 协同 CPU 并行计算理论现状
• 1.3 本文研究内容
• 1.3.1 问题提出
• 1.3.2 研究内容及创新点
• 1.3.3 论文结构
• 第二章 数字海洋实时监测数据流模型的研究
• 2.1 数据流模型理论
• 2.1.1 时间序列数据流模型概述
• 2.1.2 时间序列相似性查询原理
• 2.1.3 时间序列相似性查询需求
• 2.2 “数字海洋”辅助决策系统理论
• 2.2.1 研发背景
• 2.2.2 “数字海洋”辅助决策系统的基本理论
• 2.2.3 “数字海洋”辅助决策系统构建具体目标
• 2.2.4 “数字海洋”辅助决策系统关键技术
• 2.2.5 “数字海洋”辅助决策系统架构
• 2.3 私有云存储理论
• 2.3.1 云计算与云存储的关系
• 2.3.2 云存储的逻辑结构模型
• 2.3.3 私有云存储架构
• 2.4 GPU 协同 CPU 并行计算理论
• 2.4.1 GPU 协同 CPU 并行计算的背景
• 2.4.2 GPU 用于计算的发展
• 2.4.3 GPU 协同 CPU 并行计算的概念
• 2.4.4 GPU 协同 CPU 并行计算的成功案例
• 2.5 本章小结
• 第三章 系统总体架构以及私有云存储子系统优化策略
• 3.1 系统总体架构
• 3.2 私有云存储子系统架构
• 3.3 私有云存储子系统设计
• 3.3.1 私有云存储系统架构
• 3.3.2 私有云存储系统详细设计
• 3.4 总结
• 第四章 GPU 协同 CPU 并行计算子系统优化策略
• 4.1 海量数据阶段化存储装置
• 4.2 匹配处理器模块
• 4.3 优化的数据流匹配分析算法
• 4.4 本章小结
• 第五章 海洋实时监测数据流处理优化策略实验及分析
• 5.1 私有云存储部署策略及实验
• 5.1.1 私有云部署策略
• 5.1.2 私有云存储机制
• 5.1.3 海洋实时监测数据入库展示
• 5.2 GPU 协同 CPU 并行计算优化数据流匹配策略及实验
• 5.2.1 测试平台参数
• 5.2.2 测试用例
• 5.2.3 测试结果
• 5.2.4 结果分析
• 5.3 本章小结
• 第六章 结论与展望
• 6.1 研究总结
• 6.2 展望
• 参考文献
• 攻读硕士期间发表学术论文与取得其他研究成果及获奖情况
• 致谢