分布式计算系统关键技术研究

论文摘要

随着计算机技术的不断进步和网络技术普及,人们对大规模的计算、存储、传输等方面的要求也越来越高。而单台计算机硬件和软件的发展却远远落后于应用对这些方面的需求。因此从软件的角度上将多台计算机硬件连接起来共同完成一项大规模任务的需求就显得越来越迫切了。随着这种需求的增加和计算机互联网技术以及软件技术的发展分布式系统应运而生。其中在科学研究等领域,越来越广泛和深入地应用了大规模分布式计算系统,这些系统充分利用了INTERNET网络,构建了广域网环境下系统组成单元充分异构的分布式计算系统。论文的研究内容基于一个大规模基因分析课题项目——“DNA芯片和猪禽基因分析”,由于基因分析是一个规模十分庞大的计算过程,需要大量的计算资源长时间运行计算。而且不同的课题计算子任务之间计算量以及占用的内存空间具有很大的区别,同时课题项目对不同的子任务有不同计算要求。由于项目海量的计算规模,传统的中小规模集群已经无法满足这种要求,而大规模的专用集群成本代价昂贵,所以论文采用了构建分布式计算系统的思路。在分布式计算系统中透明内存划分、负载均衡技术是以前文献研究的重点,然而这些文献缺乏对不同子任务的相应管理,因此针对课题项目实施中的计算需求问题,论文重点研究了多优先级透明内存使用、多优先级负载均衡以及多队列节点调度策略三项关键技术,使得项目应用对本地节点的性能影响控制在了5%以内,同时在CPU资源、内存资源上保证了不同子任务服务质量需求,均衡了节点上不同性质子任务的比例。论文提出的多优先级透明内存使用算法,不仅保证了项目应用对本地节点的透明性,而且在不同优先级子任务中合理分配内存,满足了子任务之间相对的服务质量要求;基于多队列的节点调度策略算法采用了多个队列,为本地应用队列提供了非抢断式的服务,同时为不同优先级子任务队列提供了基于优先级的抢断式服务。与主要针对内存资源的多优先级透明内存使用策略一起从节点整体的角度上满足了不同子任务的相对服务质量要求;多优先级负载均衡算法,将任务的优先级、内存以及CPU的使用综合作为任务调度和负载评估的参数,从而使得系统在保证计算负载平衡的前提下对内存的使用也更趋均衡,并进一步将不同优先级子任务的分布也进行了优化。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题背景
• 1.2 分布式计算系统概述及研究现状
• 1.3 论文的研究内容
• 1.4 论文的章节安排
• 第二章 分布式计算系统关键技术研究
• 2.1 透明内存技术
• 2.2 负载均衡技术
• 2.3 节点调度技术
• 2.4 项目需求分析
• 2.5 分布式计算系统所采用的关键技术
• 2.5.1 透明内存使用技术
• 2.5.2 多优先级负载均衡技术
• 2.5.3 多队列节点调度技术
• 2.6 本章小结
• 第三章 分布式计算系统关键技术的设计与实现
• 3.1 分布式计算系统的体系结构
• 3.1.1 系统设计方案
• 3.1.2 系统主要模块与概要流程
• 3.2 分布式系统中透明内存的设计实现
• 3.2.1 分布式计算系统中透明内存体系结构
• 3.2.2 分布式计算系统中透明内存实现机制
• 3.3 分布式计算系统中多优先级负载均衡的设计与实现
• 3.3.1 分布式计算系统中多优先级负载均衡体系结构
• 3.3.2 分布式计算系统中多优先级负载均衡实现机制
• 3.4 分布式计算系统中多队列节点调度的设计与实现
• 3.4.1 分布式计算系统中多队列节点调度体系结构
• 3.4.2 分布式计算系统中多队列节点调度实现机制
• 3.5 本章小结
• 第四章 仿真测试与分析
• 4.1 仿真实验环境
• 4.2 仿真实验日志
• 4.3 仿真实验实现
• 4.4 数据分析评估
• 4.5 本章小结
• 第五章 结束语
• 5.1 结论
• 5.2 进一步工作及展望
• 参考文献
• 作者简历 攻读硕士学位期间完成的主要工作
• 致谢