计算网格环境中任务管理的研究

论文摘要

作为一种正在迅速发展的基础设施,网格能够共享大规模分布的计算资源、存储资源、数据资源、软件资源、设备资源及人力资源等,能够突破现有的计算限制,实现大规模协同的科学计算及协同问题求解,从而为高性能科学计算提供一种新的计算模式。由于网格资源具有大规模分布性、类型异构多样性、动态变化性等特点,网格的研究具有极大的挑战性。为了提高网格的可用性和易用性,提升网格服务质量,网格中的任务管理至关重要,已成为网格技术中的热点研究方向之一。然而,迄今为止,网格中的任务管理仍有待进一步的系统研究。 本文围绕计算网格环境中的任务管理开展了广泛深入的理论与技术研究,并进行了大量的实验研究。在分析计算网格中任务特点及应用需求的基础上,研究了任务管理体系结构、任务调度、任务监控和任务性能预测等网格任务管理中的关键问题。研究工作取得了以下的创新性成果: (1) 提出了面向用户的任务管理体系结构。该体系结构是在分析计算网格中任务特点及应用需求的基础上提出的。它以任务管理为核心,以提供高质量网格服务为目的,在兼顾性能及服务质量的同时,力求其好用性。提供了任务定义、任务调度、任务提交和任务监控等功能,并将这些功能以工作流的方式提供给用户。另外还集成了应用程序可视化分析、任务性能预测、检查点设置、任务迁移和任务安全等辅助功能,能够实现任务定义重用和自动灵活的文件操作。 (2) 提出并实现了适用于多种类型任务的调度策略及启发式贪心调度算法——HGSA算法。HGSA算法利用能够反映任务需求的可定制的资源属性权重和负载影响因子作为启发知识,实现资源排序;采用贪心算法实现资源选择,并完成任务的部署。 (3) 提出并实现了一种能够监控任务执行全过程的任务监控体系——MMS。MMS采用分布式的分层结构,能够监控在多个资源上执行的任务,并支持多用户。除了能够监控网格中的任务外,MMS还能够监控任务执行过程中的文件操作。MMS采用任务注册表实现客户端任务与其远程执行进程间的映射,利用任务注册码来进一步确保任务不被非法用户监控;监控部件采用自顶向下的方式启动,这种方式能够在监控部件意外退出的情况下重新启动,提高监控部件的可用性。 (4) 提出了一种基于案例和人工神经网络的任务执行时间预测算法——CBPP算法。实验模拟表明,该算法综合利用了案例的指导性和人工神经网络的自学习及良好的非线性逼近能力,实现了网格环境中复杂任务性能的有效预测。 (5) 此外,利用本文的研究成果,开发并实现了一个适用于网格平台的任务管理系统。该系统实现了对任务管理全过程(包括任务定义、提交、调度、监控与分析及结果收集)的可视操纵,隐藏了网格复杂的技术细节。论文给出了系统的具体设计及实现方法。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景与意义
• 1.2 研究现状
• 1.2.1 网格的发展历程及国内外研究现状
• 1.2.2 网格的内涵
• 1.2.3 网格的研究分类
• 1.2.4 网格亟待解决的问题
• 1.3 本文的主要工作
• 1.3.1 支撑项目
• 1.3.2 研究目标及研究意义
• 1.3.3 研究内容
• 1.4 文章结构
• 1.5 本章小结
• 第2章 MASSIVE项目概述
• 2.1 研究背景
• 2.2 研究目标
• 2.3 研究内容
• 2.4 系统体系结构与特点
• 2.5 主要功能模块简介
• 2.5.1 几何网格生成模块
• 2.5.2 计算问题求解模块
• 2.5.3 可视化模块
• 2.6 网格平台的构成及部署
• 2.6.1 网格平台的构成
• 2.6.2 网格平台的部署
• 2.6.2.1 资源信息服务在集群系统的实现
• 2.6.2.2 网格并行任务在集群系统中的调度与执行
• 2.7 网格服务及组成部件
• 2.7.1 资源发现和信息服务
• 2.7.2 文件传输
• 2.7.3 安全机制
• 2.7.4 任务管理
• 2.7.5 网格平台各部件之间的关系
• 2.8 本章小结
• 第3章 MASSIVE的任务管理体系结构
• 3.1 引言
• 3.2 计算网格环境中的任务管理
• 3.2.1 与其它任务管理系统的不同
• 3.2.2 任务管理有关定义
• 3.2.3 任务管理的要点
• 3.2.4 MASSIVE系统任务管理的需求
• 3.2.5 本论文要解决的任务管理问题
• 3.3 相关工作
• 3.3.1 集群任务管理系统
• 3.3.2 网格任务管理系统
• 3.4 MASSIVE任务管理体系结构
• 3.4.1 任务生成器Job Creator
• 3.4.2 任务调度器Job Scheduler
• 3.4.3 任务执行器Job Executor
• 3.4.4 任务监控器Job Monitor
• 3.4.5 文件控制器File Controller
• 3.4.6 辅助部件
• 3.4.7 目标站点上任务启动与执行部件
• 3.4.8 任务执行的过程
• 3.5 任务管理的主要问题
• 3.5.1 两级任务存储结构
• 3.5.1.1 JobFile
• 3.5.1.2 XMLFile
• 3.5.2 任务管理工作流
• 3.5.3 任务安全
• 3.6 MASSIVE任务管理的特点
• 3.7 本章小结
• 第4章 适应多种应用的任务调度模型及HGSA任务调度算法
• 4.1 引言
• 4.2 网格环境中调度问题的分析
• 4.2.1 调度部件的结构
• 4.2.2 调度方式
• 4.2.3 调度策略
• 4.2.4 本文任务调度的思想
• 4.3 相关工作
• 4.4 MASSIVE任务调度框架
• 4.4.1 任务调度过程
• 4.4.2 任务调度框架
• 4.5 启发式贪心调度算法 HGSA
• 4.5.1 问题描述
• 4.5.2 启发式贪心调度算法HGSA
• 4.6 实验
• 4.7 本章小结
• 第5章 MMS: 分布式层次化的网格任务监控体系
• 5.1 问题描述
• 5.1.1 网格监控系统的意义
• 5.1.2 网格监控系统的需求
• 5.1.3 网格环境中的监控对象
• 5.1.4 MMS拟解决的问题
• 5.2 相关工作
• 5.3 MMS体系结构
• 5.3.1 GMA简介
• 5.3.2 MMS体系结构
• 5.4 MMS有关问题的解决方法
• 5.4.1 利用MMS监控任务
• 5.4.2 任务与其进程间的映射
• 5.4.3 监控部件的启动
• 5.4.4 MMS系统中的安全问题
• 5.4.5 并行应用程序性能分析
• 5.5 监控文件操作的实验及分析
• 5.6 本章小结
• 第6章 CBPP: 基于案例及BP神经网络的网格并行任务性能预测
• 6.1 问题描述与分析
• 6.1.1 任务执行时间预测的意义
• 6.1.2 主要预测方法
• 6.1.3 使用历史信息预测的相关研究
• 6.1.4 预测对象分析
• 6.2 网格环境中并行任务执行时间预测方法
• 6.2.1 并行任务执行时间影响因素分析
• 6.2.2 CBPP预测算法
• 6.2.3 基于案例预测
• 6.2.4 利用BP神经网络预测
• 6.3 实验分析
• 6.3.1 增加特征模板的实验
• 6.3.2 特征模板—的两种预测类型的对比实验
• 6.3.3 基于案例预测与神经网络预测方法的对比实验
• 6.3.4 CBPP算法的实验
• 6.4 本章小结
• 第7章 任务管理系统的实现及应用实例
• 7.1 任务管理系统目标及工作原理
• 7.2 任务描述
• 7.2.1 任务的数据结构
• 7.2.2 任务信息获取
• 7.3 任务调度
• 7.4 任务监控
• 7.5 系统定制
• 7.6 应用实例和评价
• 7.6.1 实例
• 7.6.2 评价
• 7.7 本章小结
• 第8章 全文总结和工作展望
• 8.1 全文总结
• 8.2 工作展望
• 参考文献
• 攻读博士学位期间发表的学术论文
• 致谢