网格计算环境下工作流关键技术的研究

论文摘要

网格计算是网络计算、分布式计算以及高性能计算领域中研究的重点和必然的发展趋势,而网格工作流是网格计算中的一个新兴而重要的研究领域。随着网格研究的深入和网格基础设施的发展,网格应用规模越来越大,往往需要大量资源的共享和协同计算,而且应用的逻辑流程也越来越复杂,涉及多个具有时间和空间约束的步骤、资源和过程。网格工作流能方便地构建、执行、管理和监控网格应用,使网格应用自动实施并高效执行。网格的动态性、分布性、异构性和自治性导致传统工作流的方法和技术不能有效地处理网格环境中的若干问题,因此,需要针对网格和网格应用自身的特点重新研究面向复杂网格计算应用的网格工作流处理技术,为更好的实现网格环境下的应用提供先进的技术手段和解决方案。工作流模型是对工作流程的抽象表示,是进行工作流管理的基础。通过提出层次化的建模方法,使其贯穿网格工作流的过程模型和资源模型,适应网格动态变化特点和复杂应用处理需求。网格工作流过程模型以扩展的有向无环图作为表达手段,采用有向图建模方法将网格应用直观地描述成网格工作流,具有较强的通用性和可理解性;模型的形式化描述弥补了有向图缺乏形式化描述和精确定义的不足。在面向服务的网格工作流资源模型中,层次化的资源和资源访问机制实现了过程模型中网格工作流和网格资源的分离,执行时任务和资源的动态映射则增强了网格工作流的灵活性和动态适应性。网格工作流的调度决定网格工作流系统的执行性能。通过网格工作流任务角色的区分实施自适应调度能显著提高网格工作流的执行性能。基于角色的网格工作流自适应调度模型借助有向无环图分析具有依赖关系的网格工作流任务,根据任务的不同角色进行任务优先级的设置,同时结合网格资源的动态性,进行网格工作流应用调度。分支任务的优先调度能提高多个任务的并发执行程度,既充分利用了网格资源,又提高了网格工作流应用的执行效率;关键路径(最耗时路径)中任务执行时间的缩短,能最大限度地改善网格工作流任务的调度和执行性能;相对常规任务,紧迫任务优先调度,而常规任务也可升级为紧迫任务而避免饿死;最佳资源调度策略能满足用户对紧迫任务的时间需求,同时常规任务的均衡调度策略又兼顾了网格资源的负载和利用率,提高了网格系统的吞吐量。网格计算环境对工作流容错提出了新的需求和挑战,通过层次式的错误检测和基于策略库的错误处理能有效的应对网格平台和网格应用的新需求。分布心跳检测机制能快速、高效地检测大量异构资源的执行状况,层次式错误检测模型既适合网格资源的动态变化,又能规模扩展。基于策略库的错误处理机制区分容错策略的执行性能和适用范围,根据用户需求和资源状况检索出匹配的容错策略进行自动恢复,尽可能的屏蔽网格工作流的错误处理,让用户把重心放在网格工作流的过程建模上,同时也便于策略集的高效管理和动态扩充。结合上述研究内容和方法,网格工作流管理原型系统以ChinaGrid图像处理网格应用平台为基础,支持遥感图像处理典型应用,支持资源共享和协同计算。该系统提供一个灵活、动态的图像处理问题解决环境,其中网格工作流技术可满足灵活多变的应用需求,通用服务请求代理能实现异构网格服务的简单调用,具有较强描述功能的扩展有向无环图建模语言能对动态工作流模型进行定义。遥感图像处理应用已成功地应用于该平台。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 网格和网格计算
• 1.2 网格计算的应用领域
• 1.3 网格应用工作流需求
• 1.4 网格工作流研究问题
• 1.5 研究内容和主要贡献
• 1.6 论文组织结构
• 2 工作流和网格工作流
• 2.1 传统工作流
• 2.2 网格工作流
• 2.3 网格工作流研究基础
• 2.4 面向服务的网格计算工作流
• 2.5 小结
• 3 网格工作流过程和资源模型
• 3.1 研究背景
• 3.2 层次化建模方法
• 3.3 网格工作流过程模型
• 3.4 网格工作流资源模型
• 3.5 小结
• 4 网格工作流动态调度
• 4.1 研究背景
• 4.2 总体思路
• 4.3 基于角色的自适应调度模型
• 4.4 算法分析
• 4.5 小结
• 5 网格工作流容错技术
• 5.1 研究背景
• 5.2 总体思路
• 5.3 网格工作流错误检测
• 5.4 网格工作流错误处理
• 5.5 小结
• 6 图像处理网格工作流应用系统实例
• 6.1 引言
• 6.2 IMAGEGRID 平台体系结构
• 6.3 面向服务的网格工作流管理系统
• 6.4 图像处理工作流技术实践
• 6.5 小结
• 7 总结
• 致谢
• 参考文献
• 附录 1 攻读博士学位期间的学术论文及获奖情况
• 附录 2 攻读博士学位期间参加的主要科研项目