数据挖掘网格中作业分配与调度关键技术研究

论文摘要

数据挖掘网格是一种专用网格,它是数据挖掘技术与网格技术的有机结合,主要用来解决面向海量数据的、高计算能力要求的数据挖掘问题,它能够在动态变化的多个网格节点间共享资源和协同解决面向各领域的智能分析问题。由于数据挖掘应用本身的复杂性和网格的异构性、动态性,使得数据挖掘网格具有自己的特点,它的很多关键技术还有待进一步研究,作业分配与调度技术便是其一。作业分配与调度的核心功能是识别作业的资源需求,查询、分配、调度和监视资源,以尽可能高效地利用资源,提高整个网格系统的性能,保证资源使用者和提供者的利益。作业的分配与调度分为三个阶段:资源发现、资源分配和任务调度,这是一个完整的过程,本文围绕该过程所涉及到的关键技术,对分配与调度架构、作业与调度建模、资源发现、资源分配和定价策略等方面进行了系统而深入的研究。论文的主要工作和贡献归纳如下:1、提出一种基于可变结构Petri网的作业模型作业分配、调度和运行过程的形式化描述有助于过程的正确性检验、性能评价和优化。根据数据挖掘网格中作业分配与调度的需求和特点,论文中提出了一种基于可变结构Petri网的作业模型和相应的作业调度模型。它们不仅能够对作业分配与调度的过程和作业运行过程进行精确定义,还能对整个过程进行各种正确性和性能分析,以处理作业在使用数据挖掘网格中的动态、分布式资源时所产生的冲突、异常等问题。论文对各粒度作业之间的分解规则进行了详细定义,并通过设计变迁树来分析作业网的性能和优化作业的分配过程。2、提出了一种基于兴趣组的分布式信息服务资源发现是作业分配与调度中必不可少的阶段。论文中提出了一种基于兴趣组的信息服务,它为作业分配与调度提供可靠、高效的资源信息管理与发现服务。该信息服务采用了信息备份和邻居分类机制来有效地缩短查询距离,提高查询的成功率和保证系统的连通性。实验结果表明,基于兴趣组的信息服务适合于大规模的、可靠性要求高的网格系统。3、提出了一种基于性价比的资源分配机制资源分配从可用资源集中为各个任务选择最合适的资源或资源集,并为它们分配具体的工作量,它是作业分配与调度的重要组成部分。论文中提出了一种基于性价比的资源分配机制,该分配机制在满足任务时限和预算的前提下,使资源使用者在使用资源时达到个体的效用最大化。实验分析表明基于性价比的分配在实现了用户使用资源效用最大化的同时,在分配成功率、时间和费用优化方面也取得了不错的效果。4、提出了一种基于资源负载预测和任务分类的动态价格机制在作业分配与调度过程中,除了要保证资源使用者的利益外,还要保证资源提供者的利益,并能实现系统资源的负载平衡。论文中提出了一种基于资源负载预测和任务分类的动态价格机制。该机制基于预测所得的资源未来负载和需求价格弹性理论提前对资源和任务进行价格调整。论文中通过实验来验证了该机制的效果,结果表明该机制不仅可以促进系统负载达到均衡,还可以有效地保障资源提供者的利益。

论文目录

• 摘要
• ABSTRACT
• 第1章 前言
• 1.1 研究背景和意义
• 1.1.1 研究背景
• 1.1.2 研究目的和意义
• 1.1.3 主要研究内容
• 1.2 论文结构
• 第2章 相关研究综述
• 2.1 相关项目研发现状
• 2.1.1 国外现状
• 2.1.2 国内现状
• 2.2 文献研究现状
• 2.3 本章小结
• 第3章 作业分配与调度框架设计
• 3.1 数据挖掘网格体系结构
• 3.2 数据挖掘网格作业结构与描述
• 3.2.1 作业结构
• 3.2.2 作业描述
• 3.2.3 客户流失分析作业实例
• 3.3 数据挖掘网格中作业分配与调度的特点
• 3.4 作业分配与调度框架
• 3.5 关键问题
• 3.6 本章小结
• 第4章 基于Petri网的作业与调度模型
• 4.1 相关研究现状
• 4.2 扩展Petri网的定义
• 4.3 基于Petri网的作业与调度模型
• 4.3.1 四层调度网
• 4.3.2 作业网
• 4.4 分析与优化
• 4.4.1 结构优化
• 4.4.2 正确性分析
• 4.4.3 性能分析
• 4.5 本章小结
• 第5章 基于兴趣组的信息服务
• 5.1 网格信息服务研究现状
• 5.2 基于兴趣组的信息服务组织结构
• 5.3 关键技术
• 5.3.1 兴趣度定义
• 5.3.2 节点管理
• 5.3.3 兴趣组管理
• 5.3.4 邻居管理
• 5.3.5 查询算法
• 5.4 实验分析
• 5.5 本章小结
• 第6章 基于性价比的资源分配机制
• 6.1 资源分配机制研究现状
• 6.2 基于性价比的资源分配机制设计
• 6.2.1 资源与资源质量
• 6.2.2 任务和子任务
• 6.2.3 性价比定义
• 6.2.4 资源分配问题的标准化描述
• 6.2.5 分配算法
• 6.3 实验分析
• 6.4 本章小结
• 第7章 基于负载预测和任务分类的动态价格机制
• 7.1 相关工作
• 7.2 动态价格机制设计
• 7.2.1 基于马尔可夫链的负载预测方法
• 7.2.2 资源价格调整策略
• 7.2.3 任务定价方法
• 7.3 仿真实验
• 7.3.1 负载预测实验
• 7.3.2 资源定价实例
• 7.3.3 任务定价实例
• 7.4 本章小结
• 第8章 结束语
• 8.1 论文小结
• 8.2 进一步工作
• 参考文献
• 作者在攻读博士学位期间发表的学术论文
• 致谢