基于开销分析的智能化任务分配器的研究与实现

论文摘要

随着数据库应用需求的拓展和计算机硬件环境,特别是计算机网络技术的发展,分布式并行数据库系统应运而生,并成为当前计算机技术最活跃的研究领域之一。在分布式并行系统中,如何将系统中的任务巧妙而透明地分配到合适的节点一直是计算机界研究探索的重要方向。该研究将使得通讯开销减少、系统负载均衡、等待时间缩短、系统效率提高,从而使系统的整体性能达到最佳。目前,根据不同的假设条件、不同的性能衡量标准,众多学者已经研究了许多不同的策略、方法以及算法。执行节点选择的好坏对于用户任务的执行效率和整个系统的处理开销影响极大。因此,为了充分发挥系统的潜在性能、合理利用系统的计算资源,将协调节点上的任务高效低价地分配到执行节点、减少任务的执行时间,应当在分布式并行数据库系统内部实现一个任务分配器, 负责对接收到的用户任务进行合理的调度和分布,以期将用户任务分配到系统中最为合适的节点进行执行,从而使得系统产生的开销最小、用户任务的执行时间最少、系统的整体效率最高。本文的创新之处在于,在分析传统任务分配算法的基础上,提出一种基于开销分析的智能化任务分配算法, 并以此算法作为核心,构建实现了分布式并行数据库管理系统基于开销分析的智能化任务分配器ITASBTEA ( Intelligent Task Assignment Scheduler Based on Transcendental Expenses Analysis)。基于开销分析的智能化任务分配算法在对用户任务进行分配时,从系统整体的执行开销和通信开销出发,根据系统总体负载变化智能化地选择启动策略,考虑任务对资源的需求和系统中的数据分布, 有效地选择节点进行探询, 使得任务分配时的开销最小化,从而提高系统的执行效率、降低用户任务的执行时间。在分布式并行数据库系统DPSQL 中的使用和测试表明, 该算

论文目录

• 引言
• 第一章 分布式并行数据库概论
• 1.1 分布式并行数据库的定义
• 1.2 分布式并行数据库的特性
• 第二章 分布式并行数据库系统 DPSQL 的结构
• 2.1 DPSQL 的体系结构
• 2.2 DPSQL 的特点
• 2.3 DPSQL 的内部模块结构
• 2.3.1 系统内部总体结构
• 2.3.2 系统工作流程
• 2.3.3 接口子系统与 ITASBTEA
• 2.3.4 通信子系统与 ITASBTEA
• 2.3.5 执行子系统与 ITASBTEA
• 2.3.6 恢复子系统与 ITASBTEA
• 第三章 基于开销分析的智能化任务分配器
• 3.1 基于开销分析的智能化任务分配器的静态结构
• 3.1.1 节点信息管理器
• 3.1.1.1 活动节点表
• 3.1.1.2 节点状态转换
• 3.1.1.3 构造活动节点表
• 3.1.1.4 节点链表的实现
• 3.1.2 数据库目录管理器
• 3.1.2.1 数据分片的策略
• 3.1.2.2 数据库目录管理器的功用
• 3.1.2.3 数据库目录格式
• 3.1.3 数据副本管理器
• 3.1.3.1 分布式并行数据库执行过程分析
• 3.1.3.2 系统执行性能分析
• 3.1.3.3 副本动态性管理策略
• 3.1.3.4 动态副本个数的确定
• 3.1.3.5 副本动态性管理算法流程
• 3.2 基于开销分析的智能化任务分配器的动态逻辑
• 第四章 基于开销分析的智能化任务分配算法
• 4.1 传统任务分配算法的分析
• 4.2 基于开销分析的智能化任务分配算法相关定义
• 4.3 基于开销分析的智能化任务分配算法的策略
• 4.4 基于开销分析的智能化任务分配算法的具体描述
• 4.4.1 新任务到达节点时刻的算法描述
• 4.4.2 节点完成旧任务时刻的算法描述
• 4.5 发送者启动和接收者启动的详细流程
• 4.5.1 发送者启动子模块
• 4.5.1.1 发送方的详细流程
• 4.5.1.2 接收方的详细流程
• 4.5.2 接收者启动子模块
• 4.5.2.1 接收方的详细流程
• 4.5.2.2 发送方的详细流程
• 4.6 基于开销分析的智能化任务分配算法性能测试
• 4.6.1 测试环境
• 4.6.1.1 硬件测试环境
• 4.6.1.2 软件测试环境
• 4.6.2 测试方法
• 4.6.3 测试结果
• 结语
• 参考文献
• 致谢
• 个人简历
• 攻读硕士学位期间发表的学术论文