地理数据转换并行框架研究

地理数据转换并行框架研究

论文摘要

随着航空、航天和传感器技术及计算机技术的飞速发展,地理数据的获取能力不断提高,这给地理数据的管理和分析带来新的挑战,尤其是在军事、环境、灾害监测等应用领域,地理数据的实时处理能力要求非常之高。然而由于地理数据量庞大、处理算法复杂度较高,仅仅通过研究改进串行算法的性能和提高计算机机处理器性能已经无法满足地理数据处理的需求。高性能并行计算技术的发展给解决上述问题带来了新的机遇,国内外业已开展了很多基于网格和高性能集群系统的地理数据处理研究。但是对于数据工作者而言,要进行高性能并行地理数据处理,就必须掌握高性能并行计算技术,这大大增加了地理数据高性能并行处理的难度。因此,急需研究发展一种可以快速将现有的地理数据转换算法改编为并行转换算法的技术,以降低普通数据工作者进行高性能并行地理数据转换的技术难度。鉴于此,本文主要讨论地理数据转换算法快速并行化的技术问题。其研究的关键算法和技术具有一般化特征,即本文所研究的方法,并不专门针对某一特定的分布式并行计算环境,而是从地理数据自身特征及地理数据转换应用的需求出发,分析地理数据转换并行模式,建立了以地理数据划分和任务调度算法为基础的地理数据转换并行框架,并在该框架下的指导下研究和开发地理数据转换的并行算法。本文对地理数据转换并行框架技术研究,研究从以下几方面展开:(1)研究地理数据划分方法。深入研究地理数据划分的策略,总结了应用级地理数据划分和物理层数据划分的方法,提出了基于地理数据特征的数据划分策略,该策略统一了矢量数据和栅格数据在数据划分的方式,为地理数据转换并行算法的设计提供了基础。(2)研究地理数据转换调度策略。系统分析地理数据转换方法,结合并行模式,归纳了地理数据转换的三大并行模式;基于地理数据转换并行模式,提出了面向地理数据转换应用的任务调度策略,该任务调度策略以主从式和对等式调度策略为基本模式。针对不同的并行模式,调用组合不同调度模式,形成针对地理数据转换的并行调度策略。(3)设计地理数据转换并行框架。在研究地理数据划分方法和任务调度策略的基础上,详细地设计了地理数据转换的并行总框架,并且画出了各功能模块的结构图,采用面向对象的技术方法,对地理数据转换并行框架进行具体的实现。(4)基于地理数据转换并行框架的地理数据转换并行化实例。基于地理数据转换并行框架,实现了矢量数据交换格式转换算法的并行化设计,验证分析了并行算法的效率和结果的正确性。研究结果表明,论文构建的地理数据转换并行框架可用于并行化很大一部分的地理数据转换算法,并且具有处理速度快、可处理数据量大、并行化功能丰富等诸多特点。此外,该方法简单灵活、切实可行,为解决更为广泛的地理数据处理算法并行化提供了一种可行的思路。综上所述,论文在研究地理数据划分方法和任务调度的基础上,构建了地理数据转换并行框架。随后,说明框架的基本功能;然后,详细设计了功能结构;最后,对并行框架进行了实现。在对矢量数据交换格式转换算法的并行化设计与实现的实践中,从处理时间和加速比等方面分析评价了并行算法的性能,验证了技术框架的可行性。

论文目录

  • 摘要
  • ABSTRACT
  • 第1章 引言
  • 1.1 研究背景
  • 1.1.1 选题背景
  • 1.1.2 项目支撑
  • 1.2 国内外研究现状
  • 1.2.1 相关研究现状
  • 1.2.2 研究现状评述
  • 1.3 研究内容与技术路线
  • 1.3.1 研究内容
  • 1.3.2 技术路线
  • 1.4 论文结构
  • 第2章 地理数据划分方法和访问接口
  • 2.1 地理数据模型
  • 2.2 地理数据划分方法
  • 2.2.1 数据划分概述
  • 2.2.2 常用地理数据划分方法
  • 2.2.3 地理数据划分方法封装
  • 2.3 地理数据并行访问接口
  • 2.3.1 地理数据并行读写策略
  • 2.3.2 多源地理数据访问接口设计
  • 2.4 本章小结
  • 第3章 地理数据转换任务调度方法
  • 3.1 地理数据转换算法分析
  • 3.1.1 地理数据转换算法类型
  • 3.1.2 地理数据转换算法并行潜力分析
  • 3.2 地理数据转换并行模式
  • 3.2.1 任务并行模式
  • 3.2.2 数据并行模式
  • 3.2.3 算法并行模式
  • 3.3 地理数据转换任务调度方法
  • 3.3.1 任务调度概述
  • 3.3.2 地理数据转换任务调度方法
  • 3.4 本章小结
  • 第4章 地理数据转换并行框架设计实现
  • 4.1 地理数据转换并行框架思想
  • 4.2 地理数据转换并行框架系统设计
  • 4.2.1 设计目标
  • 4.2.2 总体构架
  • 4.2.3 功能设计
  • 4.3 地理数据转换并行框架模块实现
  • 4.3.1 实现平台
  • 4.3.2 功能模块实现
  • 4.3.3 框架使用流程
  • 4.4 本章小结
  • 第5章 地理数据转换并行框架应用
  • 5.1 地理数据转换应用概述
  • 5.2 VCT格式转换
  • 5.2.1 VCT格式概述
  • 5.2.3 算法分析
  • 5.2.4 框架应用
  • 5.2.5 实验分析
  • 5.3 本章小结
  • 第6章 结论与展望
  • 6.1 结论
  • 6.2 创新点
  • 6.3 展望
  • 附录1:HPGCPartition关键代码
  • 附录2:HPGCFrameWork关键代码
  • 参考文献
  • 致谢
  • 相关论文文献

    标签:;  ;  ;  ;  ;  

    地理数据转换并行框架研究
    下载Doc文档

    猜你喜欢