网格环境中的资源管理和调度算法若干关键技术研究

论文题目: 网格环境中的资源管理和调度算法若干关键技术研究

论文类型: 博士论文

论文专业: 计算机系统结构

作者: 陈曙东

导师: 马范援

关键词: 网格计算,对等网络,资源管理,资源调度,负载均衡

文献来源: 上海交通大学

发表年度: 2005

论文摘要: 随着计算机技术和网络技术的发展,以及日益增长的计算力需求,诞生了网格计算。构建一个网格系统,需要研究信息服务、数据管理、安全机制等技术。资源管理对高效合理利用计算资源起着十分重要的作用。网格资源具备动态性、异构性和自治性的特征,需要对网格资源管理和调度的关键技术做相关研究。网格资源的动态性、异构性、和自治性,使得网格资源提供者和使用者具有对等网络的特点,因此有必要将对等网络方法引入到网格资源管理中。为此,本文基于对等网络技术提出了一系列网格资源管理和调度策略。根据网格的发展历史以及研究工作的针对性,网格可以划分为两大类,一类是专用网格,例如计算网格;另一类是通用网格,即在业界参与之下基于Web服务和OGSA的网格系统。本文的研究工作适用于这两类网格的资源管理和调度。本文首先介绍了网格资源管理和调度策略的一些基本概念和主要的研究内容,然后结合网格自身特点和发展趋势,对其中的几个关键问题进行了深入的研究,包括网格系统的体系结构,网格资源信息的表示方法、资源管理和调度算法,以及负载均衡。为了验证本文提出的模型和算法的有效性,基于网格实验平台DDGrid——新药研发网格,我们进行了大量的实验,实验结果证明了本文提出的模型和算法的有效性。本文的贡献和创新性工作主要体现在以下几个方面:1.首先,在分析了网格自身特点和发展趋势的基础上,本文将对等网络方法引入网格的资源管理和调度,结合对等网络的完全分布式的资源管理方式的优点,设计了基于超级结点对等网络的网格资源管理体系结构。这种集中式和分布式的混合结构设计,能够解决现有网格系统采用的集中式管理的容易引起的单点失效、性能瓶颈等问题,从而可以更好地描述网格资源的动态性、自治性等特点,使网格系统具有更强的鲁棒性和自适应性,并且有利于制定优化网格资源管理和调度的策略、算法。进一步地,根据网格资源提供者的IP层信息生成含有路由信息的overlay network拓扑,并且使用有向图表示该拓扑结构。这种使用有向图进行网格拓扑结构表示的方式在能够准确描述网格资源提供者的计算能力的同时,还能够弥补其他现有的资源信息表示模型的overlay层路由信息不能精确反映IP层路由情况的不足,同时这种简单的描述方式利于网格资源调度器发掘网格资源提供者和网格任务之间的对应关系。2.提出了基于树匹配的nTreeMatch算法。算法结合DAG图的任务表示形式,通过树形数据结构匹配的方法解决了网格资源和网格任务间的映射问题。同时算法充分利用overlay拓扑中结点的路由信息,以轻量附加开销来有效减少overlay层上的路由跳数,使得overlay层上的路由跳数尽量接近IP层上的路由跳数,降低RDP。理论和模拟实验表明在大规模的网格系统中,算法在进行资源调度时可以获得较高的路由效率,为路由的状态与效率折衷问题提供了一个可行的解决方案。该算法尤其适用于为特定的科学应用而设计的专用计算网格的资源调度。3.针对基于Web Service的通用网格系统的资源调度,本文提出了基于资源发现的GChord算法。考虑到网格的动态性特征,GChord算法采用服务发现的方式解决资源调度问题,将资源需求按照Chord路由协议在网格中转发,改变了传统的集中式调度方法采取的信息收集方式,能够实时反映网格结点的工作负载状态,有效解决由于信息过时、数据不一致而引起的任务再调度问题。实验证明,GChord算法可以实现网格系统的实时资源调度,并且使得网格系统保持良好的负载均衡状态。4.为解决网格资源调度中动态负载均衡的挑战,在研究了多代理技术和网格计算相互融合的发展趋势的基础上,本文提出了基于多代理协同计算的rwAgent算法。算法利用多代理技术,通过代理的自治性和智能学习,实现网格资源的分散调度,同时可以获得很好的负载均衡效果。严格的数学建模和理论分析证明,rwAgent算法可以实现资源调度过程中网格系统的全局负载均衡,实验结果证明了算法的有效性和优越性。

论文目录:

摘要

ABSTRACT

第1章 绪论

1.1 网格基本概念

1.1.1 网格的定义

1.1.2 网格的分类

1.1.3 网格的特点

1.1.4 国内外网格研究项目

1.2 网格资源管理和调度策略研究现状

1.2.1 资源管理系统

1.2.2 网格资源管理系统

1.2.3 网格环境下的资源调度策略

1.2.4 现有研究的不足与分析

1.3 本文的研究内容与贡献

1.4 本文的章节组织

第2章 基于对等网络的网格资源管理体系结构研究

2.1 网格体系结构

2.1.1 网格的层次结构

2.1.2 计算经济网格体系结构

2.2 基于超级结点对等网络的网格资源管理体系结构研究

2.2.1 对等网络组织类型

2.2.2 各种对等网络分析

2.2.3 基于超级结点对等网络的网格资源管理体系结构

2.2.4 P2P、网格、基于超级结点对等网络的网格比较

2.3 基于超级结点对等网络的网格拓扑描述方法

2.3.1 overlay network 拓扑的有向图描述

2.3.2 相关工作比较

2.4 小结

第3章 基于树匹配的网格资源调度算法研究

3.1 网格资源信息描述方法

3.2 网格任务描述方法

3.2.1 基本DAG 模型简介

3.2.2 网格任务的DAG 表示

3.3 基于树匹配的网格资源调度算法研究

3.3.1 nTreeMatch 算法的设计思想

3.3.2 算法定义

3.4 算法时间复杂度分析

3.5 算法实验及结果分析

3.5.1 实验环境

3.5.2 实验结果

3.6 小结

第4章 基于资源发现的网格资源调度算法

4.1 基于P2P 的网格资源调度模型

4.1.1 Chord 协议

4.1.2 基于Chord 的网格资源调度模型

4.2 算法描述

4.3 理论分析

4.3.1 路由时延

4.3.2 空间耗费

4.4 算法实验及结果分析

4.4.1 实验环境

4.4.2 实验结果

4.5 小结

第5章 基于多代理协同计算的负载均衡算法研究

5.1 多代理协同计算

5.2 多代理技术在网格中的应用

5.3 基于多代理协同计算的网格负载均衡算法rwAgent

5.3.1 相关工作研究

5.3.2 算法原理

5.3.3 算法描述

5.4 数学建模

5.4.1 Coalition Formation 模型

5.4.2 rwAgent 模型

5.5 算法实验及结果分析

5.5.1 仿真实验

5.5.2 网格实验系统测试

5.6 小结

第6章 资源管理和调度算法在新药研发网格中的应用

6.1 新药研发网格项目背景

6.2 相关工作

6.3 DDGrid 的体系结构

6.4 主要组件设计

6.4.1 Grid Portal 设计

6.4.2 网格任务调度

6.5 应用实例

6.6 小结

第7章 总结与展望

7.1 本文创新工作

7.2 未来研究工作

参考文献

攻读博士学位期间发表的学术论文

致谢

发布时间: 2009-08-09

参考文献

• [1].基于新兴古典经济学的网格资源分配策略与方法研究[D]. 刘君.东北大学2011
• [2].基于网格数据交换区的网格作业性能优化[D]. 林琳.吉林大学2011
• [3].网格环境下的认证与授权研究[D]. 姚红岩.大连理工大学2010
• [4].网格市场环境下资源调度机制研究[D]. 武斌.中国科学技术大学2010
• [5].网格计算资源与任务的实时监测预报系统[D]. 唐阔.吉林大学2010
• [6].网格应用系统设计及其构建技术的研究[D]. 王璇.燕山大学2005
• [7].网格信任的不确定性建模及其管理研究[D]. 王建波.西南交通大学2009
• [8].基于计算智能的网格资源监测预报系统[D]. 车喜龙.吉林大学2009
• [9].集成P2P模式的网格资源发现模型、算法与任务调度研究[D]. 熊曾刚.北京科技大学2009
• [10].网格环境下信任模型及其访问控制应用的研究[D]. 韦凯.华南理工大学2011

相关论文

• [1].网格计算中的任务调度算法研究[D]. 尚明生.电子科技大学2007
• [2].网格多集群环境和计算市场环境中的作业调度和资源分配研究[D]. 申凯.中国科学技术大学2008
• [3].网格资源发现关键技术研究[D]. 张燕.国防科学技术大学2007
• [4].基于智能优化算法的网格任务调度策略研究[D]. 薛桂香.天津大学2008
• [5].基于效益驱动的制造网格资源管理和调度问题研究[D]. 周永利.国防科学技术大学2007
• [6].网络资源管理关键技术研究[D]. 陈佳.电子科技大学2008
• [7].网格环境下资源管理关键技术的研究[D]. 王嫚.北京邮电大学2006
• [8].网格信息服务及资源管理若干关键技术的研究[D]. 杨疆湖.复旦大学2005
• [9].基于P2P的网格资源管理关键技术研究[D]. 卢国明.电子科技大学2006
• [10].网格任务调度与优化机制研究[D]. 杨博.中南大学2008

标签：网格计算论文;  对等网络论文;  资源管理论文;  资源调度论文;  负载均衡论文;