基于云计算的大规模地形数据处理方法的研究

论文摘要

地形已经成为了一种基本的重要的地理要素，自从上世纪70年代以来，数字地形数据呈现出了高精度、大范围的趋势。因此，研究支持大数据量的地形数据计算能力成为解决地形数据分析瓶颈的关键问题。尽管国内外众多专家学者已经做了大量的研究工作并产生了许多优秀的成果，但是目前还没有形成公认完美的解决方案。本文通过对大规模地形数据处理技术中所涉及的云计算技术、影像金字塔的并行组建、大规模的地形数据云存储及调度策略等的研究，探讨通过在云计算环境中完成对大规模地形数据高效组织和调度的方法，最终通过实现一个Hadoop云环境下的数字地球实验系统来验证理论的可行性。本文主要研究内容包括：1.针对大规模地形数据的特点，研究有利于在云计算环境下大规模地形数据的组织结构和存储方法，建立高效的数据组织模型以及相应的索引、调度机制，实现对全球尺度的地形数据进行高效的管理。2.综合探讨金字塔模型的并行组建问题，结合多种技术给出一个高效可行的并行组建方案并测试性能。3.在充分分析研究现有云环境下的作业调度算法的基础上，针对现有算法的不足，提出一种改进型的作业调度算法，并进行测试和分析。4.应用上述研究的成果，使用Hadoop云技术设计并初步建立一个云环境下的数字地球实验平台，实现云计算环境下实时交互漫游并测试性能。依据以上研究内容，本文有针对性地做了如下贡献：一是提出一种在云环境下的大规模地形数据的组织机制-云金字塔模型；二是提出了一种改进型的作业调度算法；三是设计并实现了一种在云计算模式下的数字地球实验系统。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景与意义
• 1.2 国内外研究与发展现状
• 1.2.1 云计算的发展
• 1.2.2 Hadoop 调度算法研究现状
• 1.2.3 大规模地形数据处理的发展与研究现状
• 1.3 本文的主要研究内容
• 第二章 HADOOP 云计算平台
• 2.1 HADOOP 平台技术介绍
• 2.2 HDFS 架构
• 2.2.1 HDFS 的目标
• 2.2.2 控制节点和数据节点
• 2.2.3 数据块的复制与元数据的持久化
• 2.3 MAPREDUCE 架构
• 2.3.1 MapReduce 总体执行流程
• 2.3.2 MapReduce 容错机制
• 2.4 分布式数据库 HBASE
• 2.5 本章小结
• 第三章 基于云的影像金字塔构建
• 3.1 大规模地形数据的组织
• 3.2 传统的多分辨率金字塔模型
• 3.3 全球剖分格网
• 3.4 KEY-VALUE（键值）存储模型
• 3.5 HILBERT 空间填充曲线索引法
• 3.6 云影像金字塔构建模型
• 3.6.1 云影像金字塔（CIP）的构建策略
• 3.6.2 云影像金字塔的影像块编码
• 3.6.3 云影像金字塔的局部更新
• 3.6.4 云影像金字塔的特点
• 3.7 云影像金字塔的并行构建
• 3.8 实验与分析
• 3.9 本章小结
• 第四章 HADOOP 云环境下的作业调度
• 4.1 HADOOP 作业调度流程
• 4.2 HADOOP 常见调度算法
• 4.3 HADOOP 的推测式执行机制及其不足
• 4.3.1 任务的推测式执行
• 4.3.2 推测式执行的不足
• 4.4 改进型调度算法
• 4.4.1 自适应调整队列长度
• 4.4.2 改进型调度算法思路和流程
• 4.4.3 改进型调度算法的落后任务判定策略
• 4.4.4 算法的实现
• 4.4.5 算法的优势
• 4.6 实验与分析
• 4.7 本章小结
• 第五章 云环境下数字地球实验系统的设计
• 5.1 系统的需求分析与总体设计
• 5.1.1 需求分析
• 5.1.2 系统的总体设计
• 5.2 各功能模块设计
• 5.3 系统开发及实验数据
• 5.4 实验与分析
• 5.4.1 实验一：云计算环境下的数字地球平台可行性验证
• 5.4.2 实验二：实验系统在云计算环境与单机环境运行相比的性能评价
• 5.5 本章小结
• 第六章 结论与展望
• 6.1 研究总结
• 6.2 有待继续解决的问题
• 致谢
• 参考文献
• 博士期间论文与科研情况
• 个人简介及简历