论文题目: 面向网络计算的作业调度系统关键技术研究
论文类型: 博士论文
论文专业: 计算机系统结构
作者: 梁毅
导师: 樊建平
关键词: 网络计算,作业调度,预约回填,分区技术,经济机制
文献来源: 中国科学院研究生院（计算技术研究所）
发表年度: 2005
论文摘要: 在网络计算环境中,作业调度系统将网络计算环境中分布的资源整合起来,合理调度作业,充分利用网络中的资源,提高系统的利用率。因此成为网络计算环境的核心和灵魂。机群和网格作为网络计算环境的两个里程碑,成为了目前研究的热点。机群以其卓越的性能价格比和良好的扩展性成为了当今高性能计算的主流体系结构。目前,机群的发展呈现出支持的应用类型以及用户管理需求多样性的特征。而网格作为新兴的网络计算环境,它与机群系统最大的差别在于它是一个缺少中央控制、没有全知者以及强的信任关系的计算环境。网格平台的构建有赖于用户自愿提供资源,实现资源的共享和交换,减少资源冗余,从而形成了一个非合作式的网络计算环境。本文以网络计算环境的变化---从机群到网格为线索,对网络计算环境下作业调度的关键技术进行了总结和探讨。重点研究了(1)机群单管理分区环境下,作业调度策略问题;(2)机群多管理分区环境中,作业调度存在的资源视图割裂问题;(3)网格非合作式环境下,用户作业信息不完全导致传统作业调度策略失效问题。本文取得的具体研究成果如下:1.针对机群单管理分区环境下,作业调度策略难以兼顾作业执行效率和公平性问题,本文第三章提出了一种结合Firstfit及预约回填策略的作业调度算法RB-FIFT。RB-FIFT调度策略通过预约策略解决了作业饥饿问题,实现作业调度的公平性;并通过firstfit和回填策略减少了作业执行中产生的资源碎片,从而提高了作业的执行效率。性能测试结果表明,与传统的先来先服务(FCFS)算法和Firstfit算法比较,(1)在精确估计作业运行时间的情况下,RB-FIFT算法在多项性能指标上有明显提高,其中作业最大响应时间的减小幅度最大为19.5%,平均等待时间最大减小幅度为54.9%,;(2) RB-FIFT算法的性能并不随着作业运行时间估计不精确性的增加而单调的增大或减小,与精确估计运行时间情况比较,其中作业平均等待时间最大减小幅度为30%。2.针对机群多管理分区环境下,资源分区导致资源视图割裂问题,本文第四章提出了基于动态租借原理的机群作业调度思想,阐述了实现该思想的关键技术,并给出了一个基于动态租借原理的机群作业调度系统DRJSS。性能试验结果证明,与既有的固定分区和动态作业推送解决方案比较,动态租借策略具有较好的性能优越性,其中作业平均等待时间最多下降了1.32倍。在资源频繁租借、回收的情况下,由于作业迁移开销仅为毫秒(ms)级,动态租借策略仍具有较好的优越性。3.针对网格非合作环境下,用户作业信息不完全导致传统作业调度策略失效问题,本文第五、六章引入微观经济学的机制设计理论,针对同构和异构环境,分别提出了基于同构资源聚合拍卖的作业调度算法HoRAA和基于异构资源聚合拍卖的作业调度算法HtRAA。HoRAA算法借鉴双边拍卖的思想,实现了促使资源买卖双方真实反映资
论文目录:
摘要
Abstract
第一章 引言
1.1 网络计算环境的发展
1.1.1 机群环境特征
1.1.2 网格环境的特征
1.2 网络计算环境下的作业调度系统
1.2.1 网络计算环境中作业调度系统的位置
1.2.2 网络计算环境中作业调度系统的基本功能
1.2.3 网络计算环境中作业调度系统的性能目标
1.3 研究动机
1.4 本文的主要贡献和内容组织
第二章 网络计算环境下作业调度系统的关键技术
2.1 网络计算环境下作业调度系统的抽象模型
2.2 网络计算环境下资源管理系统的关键技术
2.2.1 作业调度模式
2.2.2 资源组织和管理模式
2.3 目前主要的相关研究项目
2.3.1 Globus
2.3.2 Legion
2.3.3 AppLes
2.3.4 Condor
2.3.5 LSF
2.3.6 PBS
2.3.7 小结
2.4 小结
第三章 结合 Firstfit 及预约回填策略的机群作业调度策略 RB-FIFT
3.1 常用的作业选取策略
3.2 常见作业选取策略的弊端分析
3.3 RB-FIFT 作业调度算法
3.3.1 预约回填策略的引入
3.3.2 RB-FIFT 算法描述
3.3.3 RB-FIFT 算法分析
3.4 RB-FIFT 作业调度算法模拟实验结果及性能分析
3.4.1 作业调度的衡量指标
3.4.2 性能测试环境
3.4.3 负载工作流模型
3.4.4 实验结果及性能分析
3.5 小结
第四章 基于分区动态租借原理的机群作业调度系统 DRJSS
4.1 机群分区技术的提出和需求来源
4.2 机群分区技术及相关研究
4.2.1 机群分区技术的引入及其弊端
4.2.2 面向机群分区的作业调度技术相关研究
4.3 基于动态租借原理的分区作业调度思想
4.4 基于动态租借原理的多分区机群作业调度系统DRJSS
4.4.1 DRJSS 的体系结构
4.4.2 基于事件服务的资源监控服务器DETECTOR
4.4.3 基于单向环形结构的可修复的检查点服务器Chks
4.5 DRJSS 系统的性能评测
4.6 小结
第五章 基于市场模型的网格作业调度的优越性及经济理论基础
5.1 网格环境下作业调度的新特性
5.2 基于市场模型的作业调度
5.3 微观经济学中的机制设计原理
5.3.1 博弈论理论
5.3.2 机制设计理论
5.4 资源配置中常见的市场机制模型
5.5 小结
第六章 基于拍卖机制的网格作业调度策略
6.1 网格环境下资源特征及作业特征分析
6.1.1 网格环境下的资源特征分析
6.1.2 网格环境中作业特征分析
6.2 几种市场机制的比较和选择
6.2.1 市场机制模型在网络计算环境中应用的相关研究
6.2.2 几种市场机制的分析选择
6.3 基于同构资源聚合拍卖的作业调度算法HoRAA
6.3.1 HoRAA 作业调度算法描述
6.3.2 HoRAA 算法的激励相容及分配有效性分析
6.4 基于异构资源聚合拍卖的作业调度算法HtRAA
6.4.1 HtRAA 作业调度算法描述
6.4.2 算法的激励相容性质分析
6.4.3 HtRAA 算法的分配有效性分析
6.5 小结
第七章 基于拍卖市场的网格作业调度系统 AGJSS 及其性能分析
7.1 构建网格环境下的基于经济市场的作业调度系统的必要条件
7.2 基于拍卖市场的网格作业调度系统AGJSS
7.2.1 AGJSS 的体系结构
7.2.2 作业提交语言的文法
7.2.3 基于受限输出定期注入的记账模式LOPI 及Account 模块的设计
7.3 AGJSS 的性能评测
7.3.1 新的性能指标的引入及试验环境的选择
7.3.2 通讯有效性评测
7.3.3 经济有效性v.s 计算有效性评测
7.3.4 价格机制测试
7.3.5 Account 模块性能分析
7.4 小结
第八章 结论及下一步工作
8.1 本文的主要工作及贡献
8.2 后续工作
附录 A
附录 B
B.1 HoRAA 算法伪代码实现
B.2 HtRAA 算法伪代码实现
附录 C
C.1 基于事件服务的资源监控服务器DETECTOR
C.2 基于单向环形结构的可修复的检查点服务器Chks
附录 D
D.1 Account 模块的实现
D.2 PRICEMAKER 模块的实现
参考文献
致谢
作者简历
发布时间: 2006-12-27
参考文献
- [1].云计算弹性资源分配与作业调度策略优化研究[D]. 凌晓.清华大学2017
- [2].数据网格几个关键技术的研究[D]. 姜建华.吉林大学2010
- [3].网格环境下作业可靠调度机制的研究[D]. 陶永才.华中科技大学2009
相关论文
- [1].网络计算环境中基于智能算法的任务调度研究[D]. 孔晓红.江南大学2007
- [2].支持网格资源预留的作业调度算法研究[D]. 李波.华中科技大学2005
- [3].基于代理的网格资源管理与任务调度[D]. 丁顺利.吉林大学2006
- [4].网格资源定位和任务调度的研究[D]. 李季.重庆大学2005
- [5].机群作业管理系统研究[D]. 雷州.中国科学院研究生院（计算技术研究所）1999
- [6].网格用户管理关键问题的研究[D]. 刘利民.中国科学院研究生院（计算技术研究所）2005
- [7].科学数据网格资源调度技术研究[D]. 马永征.中国科学院研究生院（计算技术研究所）2005
- [8].网格环境下的服务调度机制研究[D]. 谷青范.东南大学2006
- [9].分布式制造环境下的作业调度研究[D]. 顾学民.西北工业大学2006
- [10].多任务调度问题的研究与实现[D]. 何琨.华中科技大学2006