论文题目: 分布式计算中并行I/O调度策略研究
论文类型: 博士论文
论文专业: 计算机应用技术
作者: 曾碧卿
导师: 陈志刚
关键词: 分布式计算,并行,数据存储,数据访问,调度策略
文献来源: 中南大学
发表年度: 2005
论文摘要: 分布式计算系统越来越成为高性能计算的一种重要形式,分布式计算系统中并行I/O理论与技术是一个值得研究的重要课题。本文深入地研究了并行I/O数据文件分配存储和访问调度策略,提出了并行I/O数据文件分割、分配存储方法,其中包括了大型数据文件的分割策略和大量小型数据文件的分组策略,对数据存储资源的可扩展算法进行了研究,并对数据的访问调度和多维数据的分配存储与访问提出了新的算法。 本文针对分布式计算并行I/O中大型数据文件的分布存储,提出了数据分割存储的新方法,即已知知识的文件拆分与分配策略(KKFDA),它能够保证在将大型数据文件分割为文件数据块存储时,保证文件分布存储方式与访问方式的一致性,提高磁盘本地命中率、降低数据访问延迟。 本文针对由大量小文件组成文件组的分配存储问题,在研究相应数据文件分发策略的基础上,提出了二种具有可扩展性的策略,即可用百分比决策(APD)和分段选择与可用百分比决策相结合(CSSAPD)的自适应数据分配策略。另外,考虑对每个磁盘上文件服务时间变化的优化,本文还提出了一种新的应用于分布式计算环境的启发式文件分类分配策略(HFSA)。它在保证系统负载基本均衡的前提下,按相似的访问服务时间对每个待分配的数据文件进行磁盘分配,使服务时间相同或相近的文件分配到同一个磁盘上,这样就能够降低每一个磁盘上文件服务时间的变化,提高分布式计算系统的性能。 本文在并行I/O访问策略方面提出了自适应平等划分I/O调度(AEQUI)和二次调度自主维护负载平衡动态I/O调度(DIO TSMB)二种新策略。自适应平等划分I/O调度策略在进行并行I/O访问的负载平衡时,既考虑了未分配的I/O请求在I/O服务器上进行平等的分配,又考虑到了已经分配到某一台I/O服务器上任务处理的实际情况,是一种有效的新方法。DIO TSMB是基于负载平衡策略中的接收者驱动策略提出来的,应用于分
论文目录:
摘要
ABSTRACT
目录
插图目录
表格目录
第一章 绪论
1．1 分布式计算中对并行I／O的需求
1．2 并行I／O调度策略简介
1．2．1 并行I／O
1．2．2 并行I／O研究中的主要技术问题
1．3 课题的选题背景及研究意义
1．3．1 选题背景
1．3．2 研究意义
1．4 论文的主要工作
1．5 论文的组织
第二章 并行I／O调度策略研究现状及进展
2．1 并行I／O与分布式并行计算技术研究
2．1．1 并行I／O技术研究
2．1．2 分布式并行计算技术的发展
2．2 现代磁盘技术的发展
2．2．1 磁盘的架构及其运行
2．2．2 影响磁盘运行的制约因素
2．2．3 磁盘技术的新发展
2．3 存储与计算分离的研究
2．3．1 传统存储方式的缺陷及其解决办法的提出
2．3．2 存储与计算分离的可实现性
2．3．3 存储与计算分离的实现方式
2．3．4 存储与计算分离后的存储模式
2．3．5 存储与计算分离后的计算模式
2．4 并行I／O数据文件分布存储调度策略
2．4．1 关键问题研究
2．4．2 并行I／O数据文件分割分配策略
2．4．3 并行I／O数据文件分组分配策略
2．5 并行I／O数据文件访问调度策略
2．5．1 关键问题研究
2．5．2 并行I／O数据文件访问调度策略
2．6 本章小结
第三章 并行I／O数据文件分割分配策略
3．1 概述
3．2 已知知识的文件拆分与分配策略(KKFDA)
3．2．1 KKFDA的基本思想
3．2．2 KKFDA文件拆分方法的选择
3．2．3 KKFDA文件分配方法
3．2．4 实例分析
3．3 性能比较与分析
3．4 本章小结
第四章 并行I／O数据文件分组分配策略
4．1 分布式可扩展的数据分组分配策略
4．1．1 并行I／O与数据分配策略概述
4．1．2 可用百分比决策自适应数据分配策略的基本思想与实现
4．1．3 分段选择与可用百分比决策相结合自适应数据分配策略
4．1．4 性能比较与分析
4．2 启发式文件分类分配策略(HFSA)
4．2．1 模型描述
4．2．2 HFSA的基本思想
4．2．3 HFSA算法的实现
4．2．4 HFSA的理论分析与实例
4．2．5 实验及结果分析
4．3 本章小结
第五章 分布式计算中并行I／O数据文件访问调度策略
5．1 并行I／O访问的自适应调度策略研究
5．1．1 概述
5．1．2 目前的并行I／O调度方法
5．1．3 自适应平等划分I／O调度策略
5．1．4 实验及结果分析
5．2 DIO_TSMB：分布式并行I／0中新型动态数据调度算法
5．2．1 概述
5．2．2 并行I／O调度策略的研究现状
5．2．3 DIO_TSMB调度算法基本思路与实现
5．2．4 实验及结果分析
5．3 本章小结
第六章 多维数据并行I／O分配存储与访问调度策略研究
6．1 多维数据并行I／O研究概述
6．2 多维数据分配现状与新策略研究
6．2．1 多维数据分配存储研究现状
6．2．2 多维数据拆分循环分配策略的提出
6．3 相关的理论基础
6．3．1 基本定理
6．3．2 数据访问成本分析
6．4 步长值H_1的选定方法及HSPHM策略的提出
6．5 实验及结果分析
6．6 本章小结
第七章 结束语及进一步研究的展望
7．1 工作总结
7．2 进一步研究工作
7．2．1 分布式计算环境中并行I／O技术的进一步研究
7．2．2 并行I／O技术在P2P中的进一步研究
参考文献
致谢
攻博期间参与科研项目、发表论文及科研获奖目录
1．攻读博士学位期间参与的主要科研项目
2．攻博期间公开发表(或录用)的相关论文
3．科研获奖情况
发布时间: 2006-03-28
参考文献
- [1].面向性能优化的虚拟机VCPU调度策略研究[D]. 余超.华中科技大学2017
- [2].基于模块的调度策略及其对多处理器系统的支持[D]. 张晔.中国科学技术大学2009
相关论文
- [1].并行与分布式计算负载均衡问题研究[D]. 杨际祥.大连理工大学2012
- [2].基于多维数据分析的神经网络与分布式计算研究[D]. 刘天桢.武汉理工大学2008
- [3].分布并行算法设计、分析与实现[D]. 张艳.电子科技大学2001
- [4].分布式存储环境下并行计算可扩展性的研究与应用[D]. 陈军.中国人民解放军国防科学技术大学2000
- [5].网络并行计算环境中基于多处理机任务的调度研究[D]. 黄金贵.中南大学2003
- [6].面向Agent的智能化分布式计算及其应用研究[D]. 邓超.浙江大学2005
- [7].集群MPI环境下有限元结构分析并行计算研究[D]. 付朝江.上海大学2006
- [8].分布式内存多处理机上并行任务静态调度[D]. 章军.中国科学院研究生院（计算技术研究所）1999
- [9].高效并行计算系统中的计算模型与通信网络[D]. 刘方爱.中国科学院研究生院（计算技术研究所）2001
- [10].并行程序设计模型若干问题研究[D]. 姚震.中国科学技术大学2006