基于HPC的多分辨空间信息应用基础平台关键技术研究

论文摘要

围绕如何利用高性能计算机的并行计算环境,本文研究“空间信息应用基础平台”的海量数据快速处理问题,并针对特定问题,着重研究如何提高算法并行效率问题。解决了包括二维和三维多分辨数据并行化快速生成、管理方法以及空间视界覆盖等实际应用中的一些关键技术问题。主要内容如下:1.提出了一种基于移动agent的空间信息应用基础平台的并行架构,为有效利用分布式计算资源和信息资源提供统一的支撑。平台包括管理中心、网络资源、高级应用等三部分。平台核心结构是运行在HPC上的管理中心部分,其可进一步细分为任务应用响应、数据管理、负载均衡、物理结构等四个层次。在数据管理层,研究了基于空间信息多级格网的多源、异构、异地的数据库的管理办法;在任务层,提出了一种描述并行任务结构的方法;在负载均衡层提出了并行计算熵的概念和并行计算熵最大化准则。2.提出了一种基于并行计算熵最大化准则的负载均衡算法。该算法以并行计算熵来衡量集群系统负载均衡的程度,以节点任务量（而不再是任务数）来度量节点的负载。从理论上分析了并行计算熵与程序执行时间之间的关系。实验证明,所提出算法相对基于任务数阀值的负载均衡算法可更有效地减少程序执行时间,提高加速比和并行效率。3.提出正射影像（DOM）和高程数据（DEM）并行化流程结构的描述方法,并从理论上对流程结构的优化方法进行了详细研究。据此,分别提出基于四叉树金字塔组织和基于小波金字塔组织的数据并行生成算法,提高了多分辨空间海量数据生成的效率。基于并行计算熵负载均衡算法研究结论之上,尝试采用Agent技术来实现多分辨数据并行算法的均衡化。分析了正射影像和三维地貌多分辨数据快速生成并行算法的复杂度并在“深超-21C”高性能计算机上进行了实验。4.作为空间信息基础平台的应用,提出了一种基于负载均衡和并行遗传算法的视界覆盖网络优化方法。该方法利用基于并行计算熵的动态负载平衡算法来提高遗传算法的搜索速度。实验证明,基于动态负载平衡的并行遗传算法在加速比、并行效率等方面都要显著高于基于静态负载平衡的并行遗传算法。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 问题的提出
• 1.2 海量空间信息数据的多分辨处理思想
• 1.3 并行技术及其在空间信息处理中的发展现状
• 1.4 并行计算中负载均衡技术综述
• 1.5 基于HPC 的多分辨空间信息应用基础平台
• 1.6 空间视界覆盖问题
• 1.7 本文的工作内容
• 第二章 多分辨空间信息应用基础平台的并行计算架构研究
• 2.1 Agent 技术综述
• 2.2 基础平台的数学模型及其可分解性
• 2.3 基础平台的并行架构
• 2.3.1 基础平台的移动代理结构
• 2.3.2 管理中心部分的层次划分
• 2.4 基于空间信息多级格网的数据管理层
• 2.4.1 空间信息多级格网
• 2.4.2 虚拟空间数据库Agent
• 2.5 基于并行任务分解的任务层
• 2.5.1 并行任务的类型
• 2.5.2 并行任务的数据结构
• 2.5.3 计算任务的并行分割结构
• 2.6 物理计算层的结构及通信环境
• 2.6.1 “深超-21C”的物理结构
• 2.6.2 “深超-21C”的通信环境
• 2.7 小结
• 第三章 并行计算熵及其在负载均衡中应用的研究
• 3.1 问题的提出
• 3.2 计算负载均衡的相关文献综述
• 3.3 并行计算熵
• 3.4 并行计算熵的理论分析
• 3.4.1 基本数学性质
• 3.4.2 并行计算熵与程序执行时间
• 3.5 基于并行计算熵的负载均衡算法
• 3.5.1 信息收集
• 3.5.2 迁移决策
• 3.5.3 迁移执行
• 3.6 数值实验结果
• 3.6.1 矩阵相乘分解
• 3.6.2 算法参数的确定
• 3.6.3 实验结果
• 3.7 小结
• 第四章 多分辨数据的并行化生成流程优化研究
• 4.1 平台基础数据类型及其多分辨组织结构
• 4.1.1 平台计算任务所处理的基础数据
• 4.1.2 地理信息栅格数据形式的多分辨塔形结构组织
• 4.1.3 基于金字塔数据结构的计算任务域分解性
• 4.2 DOM 多分辨数据的并行化生成
• 4.2.1 DOM 多分辨数据并行化生成流程优化分析
• 4.2.2 DOM 多分辨数据并行生成的任务结构
• 4.3 DEM 多分辨数据的并行化生成
• 4.3.1 DEM 多分辨数据并行化生成流程优化分析
• 4.3.2 DEM 多分辨数据的并行生成任务结构
• 4.4 小结
• 第五章 基于负载均衡的多分辨数据并行生成方法研究
• 5.1 基础数据并行生成计算中的Agent 机制
• 5.1.1 DOM 生成并行化过程中的Agent 机制
• 5.1.2 DEM 生成并行化过程中的Agent 机制
• 5.2 基础数据并行生成算法中的Agent 计算量分析
• 5.2.1 DOM 并行生成算法中的Agent 计算量分析
• 5.2.2 基于小波金字塔的DEM 并行生成算法计算量分析
• 5.3 基础数据并行生成算法的复杂度分析
• 5.3.1 并形生成算法性能指标
• 5.3.2 基于四叉树金字塔DOM 并行生成算法复杂度分析
• 5.3.3 基于小波金字塔的DEM 并行生成算法复杂度分析
• 5.4 基础数据并行化生成算法的实验
• 5.4.1 算法参数的确定
• 5.4.2 实验结果分析
• 5.5 小结
• 第六章 基于负载均衡的视界覆盖分析
• 6.1 引言
• 6.2 视界覆盖分析
• 6.2.1 视界覆盖定义
• 6.2.2 单个点源视界覆盖缓冲区模型
• 6.2.3 平面无约束点源网视界覆盖模型
• 6.2.4 三维空间无约束视界覆盖模型
• 6.2.5 空间有约束视界覆盖分析
• 6.3 并行遗传算法概述
• 6.4 基于并行遗传算法的空间覆盖分析
• 6.5 数值实验
• 6.6 小结
• 第七章 总结与展望
• 参考文献
• 在读期间的研究成果
• 致谢