基于任务调度的集群式ETL模型构建研究

论文摘要

近些年，企业规模和业务不断向多个地区扩展，企业数据环境也因此变得更加复杂。ETL，即数据抽取、转换和加载过程，是构建数据仓库的重要环节，所占工作量很大。如何提高ETL的处理能力来适应复杂的数据环境，渐渐成为了学者们的研究热点，已取得了一定的成果。但是这些ETL模型理论考虑的数据环境因素较简单，难以胜任分布式环境下的多处理器ETL工作环境。本文从ETL工具模型设计和任务调度策略入手解决了分布式数据环境下的部分ETL数据操作问题和执行效率问题。本文的主要工作和创新点可以归为以下几个方面：1.从分布式ETL的整个执行过程角度出发，文章提出了一种改进的分布式ETL模型——基于任务调度的集群式ETL任务调度模型，并对其进行了实现。此模型分为工作流生成模块和任务调度模块。任务调度模块的引入弥补了以往理论只重视工作流生成，而忽视工作流执行的局限性。处理器集群式管理，在一定程度上提高了系统的自治性，降低了数据源和网络间的差异性。2.基于任务调度的集群式ETL模型加入了对ETL处理器的管理功能。功能的实现增强了系统运行的稳定性和可靠性，这是在以往的ETL模型理论中所忽视的问题。3.围绕着处理器异构性问题，我们从两个方面进行解决，即硬件配置异构性问题和软件异构性问题。对于硬件异构性，我们通过利用异构集群ETL负载均衡算法平衡集群内部处理器的任务执行，减少集群异构性对ETL工作执行的影响，充分利用了处理器资源。采用Web服务组合技术使ETL执行与处理器平台无关，这样就解决了处理器软件平台的异构性问题。4.本文采用启发式算法研究分布式ETL下的任务调度优化问题。针对分布式ETL任务特点，我们将离散型粒子算法应用到分布式ETL工具中。实验证明该算法的应用具有一定的优势和可行性。

论文目录

• 摘要
• ABSTRACT
• 目录
• 1 绪论
• 1.1 研究背景及意义
• 1.2 研究现状
• 1.3 研究内容及组织结构
• 2 相关理论与技术
• 2.1 分布式数据仓库技术
• 2.1.1 分布式数据仓库的相关概念
• 2.1.2 分布式数据仓库分类
• 2.2 分布式系统中的集群技术
• 2.2.1 集群系统概念
• 2.2.2 集群系统特点
• 2.2.3 集群系统分类
• 2.2.4 集群系统的设计因素
• 2.2.5 集群系统结构
• 2.3 本章小结
• 3 基于任务调度的集群式 ETL 模型设计
• 3.1 集群式 ETL 系统技术
• 3.1.1 ETL 系统
• 3.1.2 分布式 ETL 系统
• 3.1.3 集群 ETL 系统
• 3.2 集群式 ETL 任务调度模型
• 3.3 基于任务调度的集群式 ETL 逻辑结构
• 3.4 基于任务调度的集群式 ETL 框架设计
• 3.4.1 工作流生成模块
• 3.4.2 任务调度模块
• 3.4.3 执行 Agent 组
• 3.5 本章小结
• 4 基于任务调度的集群式 ETL 模型实现
• 4.1 工作流生成模块工作流程
• 4.2 任务调度模块工作流程
• 4.3 执行 Agent 的工作方式
• 4.4 ETL 处理器管理
• 4.4.1 AUML 时序图
• 4.4.2 ETL 处理器日常维护功能
• 4.4.3 ETL 处理器实时监控
• 4.5 异构集群 ETL 负载均衡算法
• 4.5.1 异构集群负载均衡算法
• 4.5.2 异构集群 ETL 负载均衡算法描述
• 4.5.3 异构集群 ETL 负载均衡算法实现步骤
• 4.6 实验分析
• 4.7 本章小结
• 5 分布式 ETL 多任务调度策略
• 5.1 问题的引入
• 5.2 基于置换型 DPSO 算法的分布式 ETL 多任务调度策略
• 5.2.1 粒子群算法
• 5.2.2 分布式 ETL 多任务调度模型
• 5.2.3 分布式 ETL 多任务调度模型中的约束条件
• 5.2.4 分布式 ETL 多任务调度模型目标函数
• 5.2.5 分布式 ETL 多任务调度中的 DPSO 编码设计
• 5.2.6 分布式 ETL 多任务调度中的 DPSO 进化方程
• 5.3 调度优化策略求解过程及伪代码实现
• 5.3.1 调度优化策略求解过程
• 5.3.2 调度优化策略伪代码实现
• 5.3.3 实验分析
• 5.4 本章小结
• 6 总结与展望
• 参考文献
• 致谢
• 攻读硕士学位期间取得的科研成果