空间信息服务云存储与管理机制的初步研究

论文摘要

所谓云服务，是指利用计算机硬件技术、软件技术、信息安全技术、网络技术、空间信息技术、通信技术、虚拟化技术、集群技术和存储技术以及并行计算等技术，将大量分布在网络中的各种资源联合起来进行统一管理和调度，构成一个庞大的资源池以按需、易扩展的方式向用户提供服务。云服务有很多分类，根据云的服务方式不同，可以将其划分为公有云、私有云和混合云三类。按照体系结构可以划分为SaaS、PaaS和IaaS三种模型。除此之外，根据用户的使用可以将云服务划分为文件云、设备云和应用云三类。目前市面上云服务很多，但是与空间信息相结合的云服务很少。空间信息是指用来描述空间地理位置、空间实体分布特征及时间空间特性的信息。据不完全统计，在人类能获取的信息中，有超过80%的信息是与空间信息相关的信息。空间信息数据通常具有数据量大、种类繁多、结构复杂、专业性强、来源广泛和实时性强等特点。目前对于空间信息数据的存储和管理方面存在不足，缺乏对空间信息数据的快速感知能力，缺乏对海量空间信息数据的存储和管理机制，缺乏对空间信息数据的备份和灾难恢复机制，因此，提供空间信息服务云具有重大的意义。本文根据云服务现状，以G/S模式的理论体系、系统架构为理论依据，以相关课题和项目为依托，分析了空间信息数据的特点和空间信息服务云的的特点和需求，对比分析了主流的存储技术、并行计算技术和分布式计算技术，以当今既稳定又流行的开源分布式文件系统HDFS为基础，以分布式计算框架MapReduce为编程模型，研究了空间信息服务云的整体架构和内部的数据存储管理工作机制。本文主要取得了如下的成果：（1）研究了空间信息数据的特点，总结起来主要表现在海量、多源、异构和时空属性四个方面。（2）研究了空间信息服务云的具体需求，并结合这些需求对比研究了各种存储技术，包括RAID技术、FastDFS文件系统、MooseFS文件系统以及HDFS的架构特点和应用领域，对比了并行计算技术MPI和分布式计算框架MapReduce，选择了适合空间信息数据特点，满足空间信息服务云需求的HDFS文件系统和MapReduce编程框架为基础架构和编程模型。（3）研究了搭建空间信息服务云平台过程中预防主节点单点失效应该注意的问题和具体的配置方案。（4）根据用户访问系统数据的频度，通过增加系统日志文件的方法，编写了MapReduce应用程序去处理数据区别冗余问题，既增加了系统的实用性又节约了系统的存储成本和管理资源。（5）提出了一种具有空间信息数据特色的数据更新机制，是一种保留历史数据的增量更新机制。（6）最后对整个系统进行了相应的测试，理论结合实际，实验验证理论，便于通过具体的实验数据和实验方法来改进理论。并在此基础上做了以下创新：（1）提出了一种根据文件访问频度对数据进行区别冗余的机制。数据区别冗余是指根据数据的访问频度动态地去更改文件的冗余数，以求获得更好的文件访问性能和最省的磁盘空间。（2）提出了一种保留历史数据的空间信息数据增量更新机制。数据增量更新机制是根据空间信息数据特点设计的，用户可以通过对比分析历史数据和最新数据了解空间特征的变化过程。

论文目录

• 摘要
• Abstract
• 目录
• 第1章 引言
• 1.1 选题目的及意义
• 1.2 国内外研究现状
• 1.3 课题来源
• 1.4 主要研究内容和技术路线
• 1.4.1 研究内容
• 1.4.2 技术路线
• 1.5 取得的成果及创新点
• 1.5.1 取得的成果
• 1.5.2 创新点
• 1.6 文章总体结构
• 第2章 空间信息服务云概述
• 2.1 G/S 模式简介
• 2.2 空间信息数据特点
• 2.3 空间信息服务云的特点
• 2.3.1 数据分散冗余存储
• 2.3.2 信息汇聚
• 2.3.3 客户端聚合服务
• 2.4 统一的数据标准 HGML
• 第3章 云技术研究
• 3.1 云存储技术
• 3.1.1 独立磁盘冗余阵列 RAID
• 3.1.2 FastDFS 文件系统
• 3.1.3 MooseFS 文件系统
• 3.1.4 HDFS 文件系统
• 3.1.5 存储技术比较
• 3.2 计算技术
• 3.2.1 消息传递界面 MPI
• 3.2.2 MapReduce 编程框架
• 3.2.3 MPI 和 MapReduce 比较
• 第4章 Hadoop 机制介绍
• 4.1 Hadoop 起源及现状
• 4.2 HDFS 文件分块
• 4.3 HDFS 存储策略
• 4.4 HDFS 负载均衡
• 4.5 HDFS 命令行接口
• 4.6 MapReduce 工作原理
• 4.7 Hadoop 其他组件
• 4.7.1 HBase
• 4.7.2 ZooKeeper
• 4.7.3 Pig
• 4.8 Hadoop 的优缺点
• 第5章 SISC 存储和管理机制研究
• 5.1 预防 NameNode 单点故障
• 5.1.1 认清 SecondaryNameNode
• 5.1.2 检查点节点 CheckpointNode
• 5.1.3 备份节点 BackupNode
• 5.1.4 SISC 后台高可靠性
• 5.2 冗余数的选取
• 5.3 数据均衡存储
• 5.4 数据区别冗余
• 5.4.1 数据区别冗余的必要性
• 5.4.2 数据区别冗余方法
• 5.4.3 数据区别冗余实现
• 5.5 数据更新机制
• 第6章 空间信息服务云的搭建和测试
• 6.1 软硬件环境
• 6.1.1 硬件环境
• 6.1.2 软件环境
• 6.2 安装配置
• 6.2.1 安装
• 6.2.2 配置
• 6.3 Web 查看 HDFS 文件系统
• 6.4 测试
• 6.4.1 增删数据节点测试
• 6.4.2 数据区别冗余测试
• 结论
• 建议
• 致谢
• 参考文献
• 攻读学位期间取得学术成果