首页> 正文

分布式主存系统上自动数据和计算分解和相关研究

2020-11-23阅读(245)

分布式主存系统上自动数据和计算分解和相关研究

论文摘要

数据和计算分解是并行化的基础,对应的数据分布和计算划分是并行化编译的重要组成部分。自动数据分布需要同时考虑程序的并行性、局部性、目标机器特性、后端编译器优化等一系列问题。这大大增加了自动数据分布的复杂性和难度。采用整数线性规划方法的自动数据分布框架可以拥有更好的目标程序适应性,不过前人的方案存在复杂度高,性能模型不够精确的缺点。针对这些问题,我们提出了一种新的高实用性的自动数据分布框架。该框架提供了对多维分布、多分割分布方式、多层流水并行的发掘以及动态重分布的支持,具有高性能,可扩展性和低开销等特点,因而有比较高的实用性部分重复计算划分是计算划分阶段进行的重要优化,可以有效的减少节点间通信和同步,从而提高程序的性能和可扩展性。前人的研究工作局限于一个循环套的范围,并且没有性能模型的支持。我们扩展了原有部分重复计算划分的优化范围,给出了显式的性能模型和求解方法。本文主要贡献如下:1.提出基于并行性和数据依赖关系的树形程序分解方法,提高了大范围统一数据分布情况下的性能估计精度,在候选产生算法中,对每一个程序片断只产生一个局部最优的数据分布方式,从而大大降低了算法的复杂性。利用附属阶段等方法,适应实际应用中常见的一些特色,降低了问题复杂度。2.提出自动进行基于拉丁方格的多分割数据分布方式,对多维的流水并行性提供了更好的支持,能够自动搜索优化的处理器空间配置。3.给出具有以上特色的求解全局自动数据分布的整数线性规划求解框架。4.给出广义的部分重复计算的概念,扩展了部分重复计算划分的优化范围。从全局范围的部分重复计算划分、利用可用数组区域的部分重复计算划分、多层次部分重复计算划分等方面,说明新定义所提供的优化机会。5.提出了相应的线性性能模型,采用基于定义点的冗余通信检测方法来估计通信优化的作用。此方法在自动数据分布和部分重复计算划分中都有所应用。6.给出了一种解决此问题的启发式框架,能够比较有效的解决一大类应用程序的部分重复计算划分问题。7.给出一种基于整数线性规划方法解决全局部分重复计算划分问题的框架。简化了问题的求解过程,并且降低了多维分布情况下的复杂度。实验结果表明新的全局部分重复计算划分,在过去的部分重复计算划分基础上,对性能和扩展性有显著提高。

论文目录

  • 摘要
  • 图目录
  • 表目录
  • 第1章 引言
  • 1.1 背景知识
  • 1.2 本文的贡献
  • 1.3 论文的组织
  • 第2章 背景知识
  • 2.1 高性能并行体系结构
  • 2.2 程序设计模型
  • 2.3 并行化编译
  • 2.4 自动数据和计算分解
  • 2.5 整数线性规划
  • 第3章 自动数据分布
  • 3.1 对准和分布模型
  • 3.2 HPF的数据映射支持
  • 3.3 相关工作
  • 3.3.1. M.G upta
  • 3.3.2. Anderson and Lam
  • 3.3.3. Palermo and Bannerjee
  • 3.3.4. Ulrich Kremer and Ken Kennedy
  • 3.3.5. Garcia, Ayguadéand Labarta
  • 3.3.6. A.N avaro, E. Zapata and D. Padua
  • 3.3.7. Pei-Zong Li
  • 3.3.8. A utopar
  • 第4章 一种高实用性的自动数据分布方法
  • 4.1 基本概念
  • 4.1.1 流水并行性
  • 4.1.2 多分割（Multi-partitioning）
  • 4.1.3 数据重分布
  • 4.1.4 编译器的单节点局部性优化
  • 4.2 整体框架概述
  • 4.3 树形程序分解
  • 4.3.1 并行性表示
  • 4.3.2 程序分解图的构造
  • 4.3.3 实例说明
  • 4.4 候选方案产生
  • 4.4.1 初步数据分布候选产生
  • 4.4.2 数据分布参数的统一化
  • 4.4.3 数据分布候选的剪裁
  • 4.5 数据分布图的产生
  • 4.6 性能评估
  • 4.7 问题的线性规划描述的和求解
  • 4.7.1 数据分布顶点变量和相关约束
  • 4.7.2 通信相关变量和约束
  • 4.7.3 问题的目标函数
  • 4.8 系统实现
  • 4.8.1 具体实现中若干问题
  • 4.9 实验结果
  • 4.9.1 复杂度结果
  • 4.9.2 论据性能结果
  • 4.10 将来的研究工作和展望
  • 第5章 部分重复计算划分
  • 5.1 部分重复计算划分
  • 5.2 无通信冗余计算分割
  • 5.3 dHPF的部分重复计算划分方法
  • 5.4 本章小结
  • 第6章 全局的自动部分重复计算划分优化
  • 6.1 研究动机
  • 6.2 层次式求解方法
  • 6.3 相对部分重复计算划分问题的形式化描述
  • 6.4 线性性能模型
  • 6.5 启发式方法
  • 6.5.1 局部算法
  • 6.5.2 全局算法
  • 6.6 一个说明实例
  • 6.7 整数线性规划求解
  • 6.7.1 局部算法（整数线性规划方法）
  • 6.7.2 全局算法
  • 6.8 实验结果和评估
  • 6.9 总结和展望
  • 第7章 结论和未来的工作
  • 7.1 本文工作总结
  • 7.2 下一步研究方向
  • 参考文献
  • 致谢
  • 作者简历

    • 相关论文文献

    • [1].可信动态度量下学习行为数据分布式挖掘算法[J]. 黑龙江工业学院学报(综合版) 2019(11)
    • [2].并行数据库数据分布策略研究[J]. 计算机光盘软件与应用 2012(21)
    • [3].云计算环境下大数据分布规律的结构优化设计[J]. 信息与电脑(理论版) 2020(08)
    • [4].云计算环境下大数据分布规律的结构优化设计[J]. 电子技术与软件工程 2017(09)
    • [5].云计算环境下数据分布式强制安全访问方法研究[J]. 科技通报 2017(08)
    • [6].云计算环境下大数据分布规律的结构优化设计[J]. 现代电子技术 2016(08)
    • [7].数据分布不敏感的决策树算法[J]. 吉林大学学报(工学版) 2009(06)
    • [8].面向电力大数据分布式云存储的性能研究与优化分析[J]. 电子世界 2015(24)
    • [9].基于数据分布的标签噪声过滤[J]. 清华大学学报(自然科学版) 2019(04)
    • [10].分布式存储中数据分布策略的分析与研究[J]. 河北建筑工程学院学报 2012(03)
    • [11].两组数据分布的一致性分析及其应用[J]. 长春工程学院学报(自然科学版) 2011(03)
    • [12].基于数据分布自适应的迁移学习算法比较研究[J]. 软件导刊 2020(08)
    • [13].基于网格服务的电力海量数据分布式恢复算法[J]. 计算机应用与软件 2016(11)
    • [14].面向电力大数据分布式云存储的性能分析与优化[J]. 电气应用 2015(06)
    • [15].一种面向企业私有云的数据分布策略[J]. 计算机研究与发展 2011(S3)
    • [16].公众数据分布策略探讨[J]. 福建电脑 2010(07)
    • [17].云环境下影响数据分布并行应用执行效率的因素分析[J]. 计算机应用 2017(07)
    • [18].一种基于数据分布特征的模糊规则提取[J]. 辽宁工业大学学报(自然科学版) 2013(02)
    • [19].时基媒体数据分布系统及方法研究[J]. 微计算机应用 2011(12)
    • [20].基于数据分布的小样本扩充方法及应用[J]. 控制工程 2019(07)
    • [21].关联数据分布树在分布式查询中的应用[J]. 计算机工程与设计 2008(15)
    • [22].数据库集群中的数据分布策略研究[J]. 煤炭技术 2013(04)
    • [23].考试数据分布特征量在学风建设中的应用[J]. 考试周刊 2015(52)
    • [24].基于数据分布图视觉传达分析[J]. 卫星电视与宽带多媒体 2020(04)
    • [25].基于X-RDP阵列码的一种数据分布策略[J]. 通信学报 2013(S1)
    • [26].基于主元空间数据分布比较的统计过程监测[J]. 仪器仪表学报 2008(08)
    • [27].基于hadoop的大数据分布式集群平台搭建的研究[J]. 计算机产品与流通 2017(12)
    • [28].无线电通信仿真的数据分布管理[J]. 价值工程 2013(17)
    • [29].面向多维混合型数据分布的混合多维直方图初探[J]. 计算机应用 2009(09)
    • [30].基于HBase的海量数据分布式序列存储策略优化[J]. 自动化技术与应用 2020(08)

    标签：;  ;  ;  ;  

    分布式主存系统上自动数据和计算分解和相关研究
    下载Doc文档

    猜你喜欢

    © 2024 毕速过 版权所有 鄂ICP备12018319号-5