面向科学与工程计算应用网格及其关键技术研究与实现

论文摘要

随着科学技术的发展,Internet迅速蔓延到世界各地,成为人们信息沟通和工作协同的有效工具。其中,通过Internet连接的成千上万的计算资源、存贮资源、信息管理资源等各种数字化设备共同构成了生产、传播和使用知识的重要载体。而网格作为一种新兴的计算基础设施,将这些物理上互连的众多资源汇聚起来,实现了资源共享、协同工作和联合计算的功能,并为广大用户提供了科学、工程、金融、军事等各种综合性服务。计算网格的出现使得隶属不同用户、跨越多个地理位置的分布式异构资源的共享成为可能。而构建一种基于科学与工程计算的网格应用平台,集成异构环境下的各种计算资源、数据存储资源,将它们统一组织起来,通过系统提供的应用服务访问、数据访问和管理服务等功能,屏蔽底层资源异构性和多个管理域,为用户提供直观、一体化的文件视图和方便、规范的访问和操作方法,具有重要意义。另外,如何使用户作业高效的完成,即网格环境下任务调度,是现在研究的热点也是难点,由于网格环境的灵活多变性,为用户合理分配资源,保证资源的有效利用,满足用户共享资源的需求,则要依靠作业调度过程中所采取的调度算法,它决定着资源的使用效率和用户的满意程度。首先,本文设计构建了一种科学与工程计算应用网格平台。在系统软件平台构建中,从前台门户到后台资源,实现上下层之间的无缝连接,层与层之间具有严格的约束关系与嵌套关系,上层依附于下层,下层服务于上层。既可以呈现给用户一个切实可用的计算服务,同时对用户屏蔽底层信息,从而完整地表示出本系统软件结构的层次观念。底层采用Globus网格中间件设计并构建一个易于扩展、满足不同应用需求的异构环境系统。上层使用Gridsphere网格门户中间件和扩展Gridportlets网格组件来构建网格应用门户,实现不同计算模式科学与工程计算应用的封装,同时集成网格记账、网格监控功能,为用户提供一个灵活易用,可动态配置的网格应用环境。另外,本文以大规模科学与工程计算为背景,网格为基础环境,着力研究了网格过程中作业调度、资源分配与共享等相关问题,分别给出了满足实际需求的作业调度模型和相应的调度算法。在研究现有平台资源部署的前提下,构建DAG作业调度框架,并针对作业之间具有约束的应用调度需求,提出一种DAG调度算法思路,首先将作业进行Rank排序,然后采用分组思想进行作业分组,并调整作业执行资源以优化性能。最终实现了两个目的,一是尽量降低作业权值赋值方法对算法性能的影响,二是降低了作业Makespan。最终实现了多用户高效共享异构资源的目标。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 研究背景
• 1.2 研究目标
• 1.3 主要工作
• 1.4 论文的组织结构
• 第2章 相关基本知识
• 2.1 网格概述
• 2.2 网格中间件
• 2.3 网格门户中间件
• 2.3.1 JSR168标准
• 2.3.2 网格门户中间件Gridsphere
• 2.4 网格调度模型
• 2.4.1 网格调度的含义
• 2.4.2 网格调度的特征
• 2.4.3 网格调度模型
• 2.5 网格调度算法
• 2.5.1 网格调度算法概述
• 2.5.2 目标函数
• 2.6 本章小结
• 第3章 系统结构
• 3.1 应用需求
• 3.2 设计目标
• 3.3 系统架构
• 3.3.1 资源层
• 3.3.2 核心层
• 3.3.3 门户层
• 3.3.4 应用层
• 3.4 本章小结
• 第4章 网格环境构建
• 4.1 底层中间件部署
• 4.1.1 部署的具体实施
• 4.1.2 部署难点及解决办法
• 4.1.3 底层平台特点
• 4.2 网格平台门户开发
• 4.2.1 Gridsphere功能的实现
• 4.2.2 Gridsphere功能的扩展
• 4.2.3 网格平台门户实现
• 4.3 具体应用封装
• 4.3.1 应用封装的必要性
• 4.3.2 封装机制
• 4.4 网格问题求解环境
• 4.5 本章小结
• 第5章 基于DAG的作业调度
• 5.1 DAG约束的作业调度
• 5.1.1 依赖任务调度工具
• 5.1.2 依赖任务调度算法分类
• 5.2 作业调度系统的架构与设计
• 5.2.1 作业调度系统的架构
• 5.2.2 作业调度系统的设计
• 5.2.3 作业调度系统的运行流程
• 5.3 作业调度算法设计
• 5.3.1 问题假定及抽象
• 5.3.2 具体算法思路
• 5.4 本章小结
• 第6章 应用实现
• 6.1 功能介绍
• 6.1.1 环境功能介绍
• 6.1.2 工作流程及提交步骤
• 6.2 应用开展
• 6.2.1 高能物理计算应用
• 6.2.2 数值天气预报计算应用
• 6.2.3 工程计算与分析应用
• 6.2.4 密码学中的安全攻略应用
• 6.2.5 化学分析应用
• 6.3 本章小结
• 第7章 结束语
• 7.1 结论
• 7.2 今后展望
• 参考文献
• 致谢
• 攻读学位期间发表的主要学术论文目录
• 攻读学位期间参加的项目
• 学位论文评阅及答辩情况表