异构多域环境的全局资源调度技术研究与实现

论文摘要

异构多域环境的全局资源调度技术是分布资源管理技术的重要组成部分，它为高性能计算和信息服务提供高效的全局资源调度。目前采用大量PC或工作站组成的Cluster在高性能计算领域应用很多，把多个这样的Cluster用专网或互联网连接起来，用全局资源管理软件进行管理，再安装上分布计算支撑软件，就可以构成一种高性能分布计算环境。这种计算环境集成了很多的资源，为了便于管理，每个Cluster上配置了一个资源管理器，构成一个相对独立自治的域。但由于异构多域环境的资源动态变化，导致全局资源管理变得很复杂。 资源管理的核心是资源调度。以往关于资源调度的研究大多集中在单个域中，如LCRM、LSF、PBS等系统。局部调度主要采用立即调度可用资源和预约调度资源两种机制。全局调度面临的主要问题与局部调度有所不同，主要是解决跨域资源联合分配的协同问题。对于异构多域环境的全局资源调度研究还不够深入，调度模型也不够完善。国外已有的系统如Condor-G和Nimmd／G在全局调度方面做了一些有益的尝试。随着高性能科学计算和大规模分布处理应用的不断增长，为了增强系统整体性能，提高资源利用率和作业吞吐率，迫切需要研究高效的全局资源调度技术。 本文以大规模分布资源管理为背景，以现有的几种局部资源调度器为基础，基于Socket通信和多线程并发服务器技术，研究了异构多域环境的全局资源调度技术，实现了一个全局资源调度系统。构造了系统功能测试作业集合，测试了全局调度系统的功能。本文主要工作包括： 研究了集中式和分层式两种分布资源管理体系结构，重点讨论了分层式体系结构。改进约束满足问题（Constraint Satisfaction Problems）模型，对全局调度系统建模，分析了独立式全局调度模块与分布式全局调度模块两种不同全局调度系统结构，并在此基础上详细讨论了独立式全局调度模块实现的各个功能模块划分。 研究了全局调度流程和全局调度策略，在基本的FIFO调度策略基础上分析了对几种类型作业的支持，采用优先级调度和backfill策略提高系统资源利用率和作业吞吐率，保证相互依赖的作业组能够正确的被调度执行。 基于我们对异构多域环境的全局资源调度问题的研究，设计并实现了能够集成几种异构局部调度系统的全局资源调度原型系统。该系统由全局资源管理器（GRM）和全局调度器（GS）组成，GRM完成接收并解析客户端作业请求和向局部调度器查询资源状态的功能，并对整个全局信息库进行管理和配置；GS则根据全局调度策略匹配作业请求描述和资源状态，将作业提交到具体的局部调度系统执行。 本文很好的构建了异构多域环境的全局资源调度整体框架，为进一步深入研究打下了良好的基础；本文对全局资源管理技术的探索研究在高性能计算领域有着重要的意义。

论文目录

• 图目录
• 表目录
• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 课题目标
• 1.3 研究成果
• 1.4 论文结构
• 第二章 分布资源管理系统和全局资源调度技术
• 2.1 分布资源管理概述
• 2.2 分布资源管理系统
• 2.2.1 计算资源管理系统
• 2.2.2 平台负载共享工具
• 2.2.3 可移植批处理系统
• 2.2.4 秃鹰系统
• 2.2.5 三种网格资源调度器
• 2.2.6 分布资源管理系统技术特点
• 2.3 全局资源调度技术
• 2.3.1 全局资源调度系统结构
• 2.3.2 全局资源调度策略
• 2.4 本章小结
• 第三章 异构多域环境全局资源调度系统的设计
• 3.1 全局资源调度模型
• 3.1.1 CSP模型的改进
• 3.1.2 资源模型
• 3.1.3 作业模型
• 3.1.4 调度模型
• 3.2 全局资源调度系统功能与结构设计
• 3.2.1 系统功能
• 3.2.2 总体结构
• 3.2.3 模块结构
• 3.2.4 全局调度流程
• 3.3 全局调度策略设计
• 3.3.1 全局资源发现技术
• 3.3.2 全局作业队列管理策略
• 3.3.3 全局资源分配策略
• 3.4 本章小结
• 第四章 异构多域环境全局资源调度系统的实现
• 4.1 全局调度系统功能构件结构
• 4.2 客户端的实现
• 4.3 全局资源管理器的实现
• 4.3.1 并发多线程服务器
• 4.3.2 全局资源调度器
• 4.3.3 全局信息查询和日志
• 4.4 局部资源管理器的扩充
• 4.4.1 局部资源查询
• 4.4.2 局部提交作业
• 4.5 本章小结
• 第五章 异构多域环境全局资源调度系统的测试
• 5.1 全局调度系统测试环境部署
• 5.2 系统功能测试
• 5.2.1 信息查询测试
• 5.2.2 测试作业集合
• 5.2.3 全局调度测试
• 5.3 本章小结
• 第六章 结束语
• 6.1 全文工作总结
• 6.2 工作展望
• 致谢
• 攻读硕士期间发表的论文
• 攻读硕士期间参加的科研项目
• 参考文献