面向一种云计算平台的任务调度技术研究

论文摘要

随着云计算技术近几年的迅速发展，Hadoop这种处理大规模密集型数据的云计算平台受到国内外大型IT公司、社交网络、全球各大通信运营商等的广泛关注及应用。Hadoop系统可部署在廉价的普通服务器上，能高效并行处理大规模数据集。Hadoop平台有可能由成千上万个节点组成，在这些节点中采用什么样的任务调度技术协同处理各个任务显得尤为重要。一个好的任务调度策略不但能够很大程度上提高任务响应时间和系统吞吐率，也能提高整个集群资源的利用率。因此，任务调度技术的研究对云计算平台的发展具有重要意义。本文面向云计算平台Hadoop的任务调度技术进行了如下研究：首先，研究Hadoop平台的基本架构，Hadoop主要由数据存储结构HDFS和任务并行处理模型MapReduce两个部分组成。在其架构的基础上分析了Hadoop的数据存储特性、任务处理流程以及数据流程。详细阐述了Hadoop平台的任务调度技术发展现状，并分析了现有Hadoop平台采用的任务调度算法的特点和局限性。其次，根据Hadoop数据的存储特性，提出了基于数据局部性对LATE算法的改进策略，在Hadoop平台中分机架考虑任务推测执行的调度问题，选择备份任务推测执行时，优先选择数据存储在请求处理节点上的任务，以及节点所在机架上的任务推测执行；如果没有数据存储在本节点或者本机架的任务需要推测执行，再考虑在其它机架上查找需要推测执行的任务。再次，利用统计学概率论解决任务等待时间过长影响工作响应时间的情况。根据稀有事件发生概率模型，综合考虑数据局部性优化问题和任务等待本节点或者本机架处理的时间过长反而影响任务响应时间的问题。最后，在CloudSim仿真平台上模拟Hadoop架构，对不同的任务类型，设定不同的参数值进行仿真实验，分析算法在提高任务本地化处理能力、减少工作响应时间以及优化系统吞吐率等方面较其他算法具有明显优势，基于数据局部性的改进算法解决了Hadoop平台任务调度技术有关数据局部性问题的性能瓶颈。

论文目录

• 摘要
• Abstract
• 插图索引
• 附表索引
• 第1章 绪论
• 1.1 研究背景和意义
• 1.2 研究现状
• 1.3 主要研究内容
• 1.3.1 云计算技术研究
• 1.3.2 云计算平台研究
• 1.3.3 云计算平台的调度技术研究
• 1.4 本文结构
• 1.5 小结
• 第2章 相关背景知识介绍
• 2.1 引言
• 2.2 云计算基本概念
• 2.3 云平台简介
• 2.4 云计算中的任务调度
• 2.4.1 云计算中的任务调度技术特点
• 2.4.2 云计算调度技术发展现状
• 2.5 备份任务推测执行
• 2.5.1 备份任务推测执行描述
• 2.5.2 备份任务推测执行对系统性能测评参数的影响
• 2.6 分布式系统中数据局部性问题
• 2.7 小结
• 第3章 Hadoop 平台下的任务调度研究
• 3.1 引言
• 3.2 Hadoop 平台描述
• 3.2.1 Hadoop 基本结构
• 3.2.2 Hadoop 中 MapReduce 任务处理流程分析
• 3.3 Hadoop 任务调度
• 3.3.1 Hadoop 中的 MapReudce 任务调度
• 3.3.2 Hadoop 中 MapReuce 备份任务推测执行调度分析
• 3.4 Hadoop 中 MapReuce 备份任务推测执行调度算法 LATE
• 3.4.1 LATE 算法设计
• 3.4.2 LATE 算法问题分析
• 3.5 小结
• 第4章 基于数据局部性对 LATE 算法的改进
• 4.1 引言
• 4.2 基于数据局部性对 LATE 算法的改进设计
• 4.2.1 数据局部性对 Hadoop 平台处理任务的影响
• 4.2.2 算法的详细设计
• 4.2.3 算法设计可行性分析
• 4.3 小结
• 第5章 基于数据局部性对 LATE 算法改进的仿真实验
• 5.1 引言
• 5.2 Cloudsim 仿真工具
• 5.2.1 Cloudsim 体系结构
• 5.2.2 Cloudsim 仿真流程分析
• 5.3 基于数据局部性对 LATE 改进算法的仿真实验
• 5.4 仿真实验结果分析
• 5.4.1 工作响应时间分析
• 5.4.2 任务本地化处理率分析
• 5.4.3 系统吞吐率分析
• 5.5 小结
• 结论和展望
• 参考文献
• 致谢
• 附录 A 攻读学位期间所发表的学术论文及参与的科研项目