中海油数据仓库ETL工具的设计与实现

论文摘要

计算机及网络技术的快速发展与应用使企业在各种应用系统下积累了大量的数据资源,它们构成了企业的宝贵财富。今天,越来越多的企业正在构建数据仓库来满足其战略决策需要,也就必须将这些可能是来自不同软硬件平台、数据模型、乃至地理上分布、管理上自治和模式上异构的数据源进行集成。因此,提供一种好的ETL工具是非常有益的工作。利用ETL工具可以对异构数据源中的业务数据抽取和转换,并将其装载到数据仓库中,其主要作用是对各类业务数据的清理、标准化和汇总,为数据仓库提供高质量的数据。本文首先分析了国内外ETL工具的研究现状,也对目前主流的ETL工具的结构及特点以及在ETL过程中比较重要的数据转换、数据清洗和元数据等相关问题和理论方法进行了详细分析。然后,以中海油数据仓库项目为背景,提出了一种较通用的ETL工具框架设计模型,并给出了具体实现过程。在具体实现方面,充分运用面向对象语言的继承、多态的特性,将设计模式大量的应用于ETL工具的实现当中,使工具架构清晰,具有良好的扩展性,具有易于使用,灵活性强的特点。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 课题研究背景和意义
• 1.2 国内外现状
• 1.3 论文安排
• 1.4 本人主要工作
• 第二章 核心技术
• 2.1 数据仓库概述
• 2.1.1 数据仓库基本概念
• 2.1.2 粒度和维度
• 2.1.3 数据仓库中的元数据
• 2.2 ETL综述
• 2.3 ETL工作过程
• 2.4 ETL在数据仓库中的必要性
• 2.4.1 ETL的必要性
• 2.4.2 制定ETL策略应考虑的问题
• 第三章 ETL工具需求分析
• 3.1 ETL工具总体功能需求
• 3.2 数据抽取需求
• 3.3 数据转换需求
• 3.4 数据加载需求
• 3.5 数据质量需求
• 第四章 ETL工具设计
• 4.1 ETL产品与手工编码的比较
• 4.2 设计思路
• 4.3 系统架构
• 4.4 系统设计
• 4.4.1 元数据库设计
• 4.4.2 数据抽取设计
• 4.4.3 DTS组件的设计
• 4.4.4 DTS组件的管理设计
• 4.4.5 系统交互部分设计
• 4.4.6 主要技术难点和解决方案
• 第五章 ETL工具的实现
• 5.1 中海油数据仓库项目介绍
• 5.2 ETL平台的选择
• 5.2.1 操作系统平台
• 5.2.2 开发平台
• 5.2.3 数据存储平台
• 5.3 ETL工具的实现
• 5.3.1 元数据管理的实现
• 5.3.2 抽取模块的实现
• 5.3.3 DTS包的实现
• 5.3.4 DTS包管理模块的实现
• 5.4 系统部署
• 5.5 测试及结果分析
• 第六章 总结与展望
• 6.1 总结
• 6.2 展望
• 参考文献
• 致谢