ETL过程优化与增量数据抽取的研究

论文摘要

做为数据仓库的重要组成部分,ETL（Extraction Transformation Loading）贯穿于数据仓库的全过程,担负着整合数据的重要职责。本文分别从ETL的2个方面进行了深入的研究和优化。一方面,ETL数据质量的好坏直接关系到上层决策支持系统的分析结果,正确的数据才能产生正确的结果,因此如何保证ETL的数据质量是非常重要的。本文针对触发器增量数据抽取方法进行了分析,发现传统方法中对快照表的并发操作可能导致快照记录失效,从而不能如实反映出数据变化的历史,出现源与目标数据不一致的情况,影响了ETL的数据质量。文中以操作系统的同步模型为参考,通过向快照表增加锁字段的方式,对并发操作进行了同步,保证了快照记录的正确性,提高了触发器增量数据抽取下ETL的数据质量。另一方面,数据仓库要求ETL具备较高的执行效率以保证数据的时效性,同时ETL在适用性和开发方面需要足够灵活才能满足用户复杂多变的业务需求。通过对SEDA（Staged Event-Driven Architecture）架构和ETL过程的深入研究,本文提出了将ETL构建于SEDA之上的方案,对ETL过程进行了优化。首先,经过与多线程模式下的ETL进行对比,证明了SEDA ETL不仅在执行效率上与之相当,而且更提供了细粒度调优、支持数据优先级以及负载控制等手段,极大的提高了ETL的适用性。其次,SEDA ETL不再以一个完整的ETL业务流程做为基本执行单元,取而代之的是SEDA中的阶段。阶段的模块化将复杂的资源管控调度变得透明,使最终用户在进行二次开发时只需要关注业务实现,同时其可重用性也为快速构建ETL应用奠定了基础,从而缩短了企业进行ETL开发所需的周期,降低了开发的成本。

论文目录

• 摘要
• Abstract
• 插图索引
• 附表索引
• 第1章 绪论
• 1.1 立题背景
• 1.2 国内外研究现状
• 1.3 论文主要工作
• 1.4 论文创新点
• 1.5 论文组织结构
• 第2章 相关技术研究
• 2.1 增量数据抽取方法
• 2.1.1 触发器方式
• 2.1.2 时间戳方式
• 2.1.3 表对比方式
• 2.1.4 日志方式
• 2.1.5 Oracle CDC方式
• 2.1.6 对比分析
• 2.2 分阶段事件驱动架构
• 2.2.1 架构模型的提出
• 2.2.2 架构的组成
• 2.2.3 负载控制机制
• 2.3 小结
• 第3章 基于触发器的增量数据抽取方法优化
• 3.1 传统触发器方式的缺陷
• 3.2 数据不一致性的分析
• 3.3 优化方案
• 3.3.1 总体思路
• 3.3.2 快照表
• 3.3.3 触发器
• 3.4 实验
• 3.4.1 实验目标
• 3.4.2 实验环境
• 3.4.3 实验方法
• 3.4.4 实验结果及分析
• 3.5 小结
• 第4章 基于分阶段事件驱动架构的ETL过程优化
• 4.1 优化目标
• 4.2 优化方案
• 4.2.1 阶段的划分
• 4.2.2 阶段间的交互
• 4.2.3 阶段的构成
• 4.3 实验
• 4.3.1 实验目标
• 4.3.2 实验环境
• 4.3.3 实验方法
• 4.3.4 实验结果及分析
• 4.4 小结
• 第5章 基于分阶段事件驱动架构的ETL原型设计
• 5.1 总体架构
• 5.2 阶段组件模块设计
• 5.3 阶段控制器模块设计
• 5.4 ETL阶段模块设计
• 5.5 小结
• 结论
• 参考文献
• 致谢