混合并行计算环境多级并行化编程模式的研究

论文摘要

人类对计算能力无休止的需求,以及并行计算领域两次重要的技术变革,使并行计算技术越来越受到人们的重视,尤其是通过各种互联技术连接在一起的分布式集群并行处理体系结构已经成为当今并行计算的主流。其中,一种特殊的结构是CMP-CLUSTER,即集群系统中单个计算节点是基于多个CMP芯片的共享存储多处理器并行系统,由于涉及到分布式存储和共享存储两种并行体系结构,我们称之为混合并行计算系统。并行编程难一直是阻碍并行计算广泛普及的主要原因,尤其是在CMP-CLUSTER这样的混合并行计算环境中存在多级并行化问题,即节点间并行、处理器芯片间并行、处理器芯片内多个核心并行,涉及到消息传递和共享变量两种并行编程模型,其编程难度更大。因此,如何为该混合并行计算环境提供特定的并行程序设计方法、编程模型、环境和工具来简化并行编程,是并行计算领域研究的热点和难点。本文正是在这种背景下展开了工作,所做的主要工作包括:系统地建立了CMP-CLUSTER混合并行计算环境概念模型下的通信层次模型和存储层次模型,指出通信层次模型中每个层次的操作开销和影响,结合CMP系统共享高速缓存的存储特征,研究提出了在通信层面和存储器访问层面并行编程的特征,并以此为基础、以最大化CMP-CLUSTER混合系统中每个并行硬件层次的优势为目标,提出了适合于CMP-CLUSTER环境的并行编程模式,并对该模式的特点进行了研究和总结。根据本文提出的CMP-CLUSTER混合并行计算环境概念模型的特征,提出针对于该混合并行计算环境的分层次、自顶向下、逐步细化的并行编程模型,该模型分为五层:任务分配模式层、任务计算模式层、设计模式并行编程框架层、中间框架代码层、任务部署与映射层。每一层分别对应在CMP-CLUSTER混合并行计算环境概念模型下进行并行处理的某一个特定的目的和步骤。针对本文提出的并行编程模型中的每一层,本文都研究了相应的简化并行编程实现的方法、技术和工具,以帮助在混合并行计算环境下进行并行程序设计的人员提高编程效率,减少人为因素引进的错误。基于设计模式的思想,设计并实现了两种并行编程框架,用户可以直接调用框架提供的高级应用程序接口,就可以自动的完成数据的划分和任务的自动并行化执行。基于数据并行计算提出了一种基于阵列数据并行的FJRR并行设计模式,并以并行编程框架的形式实现了该设计模式的自动计算;另外,提出了一种基于任务交互图模式的并行编程框架,并具体实现了基于动态规划模式的任务自动并行与调度系统,从而大大的简化用户在这两种模式下进行并行编程的复杂度。

论文目录

• 中文摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.3 本文主要工作
• 1.4 本文组织结构
• 第二章 并行程序设计概述
• 2.1 并行体系结构
• 2.1.1 共享存储体系结构
• 2.1.2 分布式存储体系结构
• 2.1.3 分布式共享存储体系结构
• 2.1.4 分布式+共享存储混合体系结构
• 2.2 并行程序设计模型和语言
• 2.2.1 并行程序设计模型
• 2.2.2 并行程序设计语言
• 2.3 并行程序设计环境与工具
• 2.4 并行程序设计方法
• 2.5 本章 小结
• 第三章 CMP-CLUSTER环境概念模型
• 3.1 HPCS系统
• 3.1.1 HPCS系统分类
• 3.1.2 HPCS系统并行程序设计问题分析
• 3.1.3 CMP-CLUSTER混合并行计算系统
• 3.2 CMP-CLUSTER系统概念模型
• 3.2.1 CMP-CLUSTER系统通信层次模型
• 3.2.2 CMP-CLUSTER系统存储层次模型
• 3.3 CMP-CLUSTER系统并行处理模式
• 3.3.1 CMP-CLUSTER系统并行处理模式
• 3.3.2 CMP-CLUSTER系统并行编程模型
• 3.4 本章 小结
• 第四章 CMP-CLUSTER环境并行程序设计模型
• 4.1 CMP-CLUSTER并行编程模型
• 4.2 任务分配模式层
• 4.2.1 图的定义
• 4.2.2 图的属性
• 4.2.3 图的操作
• 4.3 任务计算模式层
• 4.3.1 任务接收与调度模式子层
• 4.3.2 任务计算子层
• 4.4 设计模式并行编程框架层
• 4.5 中间框架代码层
• 4.6 任务部署与映射层
• 4.7 本章 小结
• 第五章 基于模式的并行编程框架系统设计与实现
• 5.1 并行编程框架
• 5.2 基于FJRR并行设计模式的并行编程框架系统
• 5.2.1 问题模式分析
• 5.2.2 FJRR基于阵列型数据划分应用的并行设计模式
• 5.2.3 基于FJRR并行设计模式的并行编程框架系统
• 5.2.4 实验与性能分析
• 5.3 基于TIG图模式的并行编程框架系统
• 5.3.1 问题模式分析
• 5.3.2 基于TIG图模式的并行编程框架系统设计
• 5.3.3 基于TIG图模式的并行编程框架系统实现
• 5.3.4 实验与性能分析
• 5.4 本章 小结
• 第六章 总结与展望
• 参考文献
• 发表论文和科研情况说明
• 致谢