钻井数据仓库ETL工具研究与实现

论文摘要

计算机及网络技术的快速发展与应用使企业在各种应用系统下积累了大量的数据资源,它们构成了企业的宝贵财富。今天,越来越多的企业正在构建数据仓库来满足其战略决策需要,因此就必须将这些异构的数据源进行集成。所以,提供一种好的ETL工具是非常有益的工作。利用ETL工具可以对异构数据源中的业务数据.抽取和转换,并将其转载到数据仓库中,为基于数据仓库的决策分析应用提供高质量的数据。本文首先对ETL过程和数据仓库进行了研究,ETL过程包括数据抽取、转换、清洗和加载几个阶段。接着还对ETL过程中很重要的数据映射关系进行了分析研究。然后对传统的ETL工具体系结构进行了分析,针对其开放性差和二次开发不足,提出了基于元数据的三层体系结构,使得ETL过程更加高效、通用和灵活。在对数据追加技术的研究中,分析了目前比较流行的几种追加技术并分析了它们的优缺点,如:基于快照差分算法的数据追加技术、基于日志分析的数据追加技术、基于触发器的数据追加技术、基于时间戳的数据追加技术。通过对数据转换技术的研究,本文提出了一种基于元数据的数据转换方法。将数据的转换阶段单独分离出来,同时提供数据转换重用机制,将那些可以重用的规则保存下来以便于日常增量数据的定时抽取、转换及加载;用户也可以根据自己的需求重新定义数据转换规则,通过这种方式增加了ETL过程的灵活性。最后本文结合钻井数据仓库的实际需求,利用前面的理论研究成果,设计并实现了本钻井数据仓库ETL工具。它为基于元数据的三层体系结构,使用基于元数据的数据转换方法实现了把钻井数据源数据导入到钻井数据仓库里。该工具包括五大模块:元数据管理模块、任务管理模块、数据访问模块、数据追加模块和数据转换加载模块。用户可以利用程序提供的任务配置界面配置数据抽取转换任务,并把它们存储在元数据库中,然后定时调度这些抽取转换任务,利用时间戳数据追加技术实现同常增量数据的加载;如果任务需要变更的时候,用户还可以重新配置该任务。所以,该工具在实现了其专用目的的同时也具有一定的灵活性。

论文目录

• 摘要
• Abstract
• 目录
• 1 绪论
• 1.1 背景及课题来源
• 1.1.1 背景
• 1.1.2 课题来源
• 1.2 ETL工具研究现状
• 1.2.1 国外现状
• 1.2.2 国内现状
• 1.3 论文研究的主要内容
• 1.3.1 主要内容
• 1.3.2 选择手工开发ETL工具的理由
• 1.4 课题研究的意义
• 1.5 论文的组织结构
• 2 ETL理论研究与分析
• 2.1 数据仓库介绍
• 2.1.1 数据仓库的概念
• 2.1.2 数据仓库与业务系统中数据库的区别
• 2.1.3 数据仓库的基本体系架构
• 2.1.4 数据仓库的特点
• 2.2 ETL过程研究
• 2.3 ETL数据映射关系研究
• 2.3.1 研究数据映射关系的目的
• 2.3.2 数据映射关系类型
• 2.3.3 数据映射关系形式化描述
• 2.4 ETL体系结构研究
• 2.4.1 传统的ETL体系结构
• 2.4.2 基于元数据的三层ETL体系结构
• 2.5 本章小结
• 3 重要技术研究
• 3.1 异构数据追加技术
• 3.1.1 数据追加技术的概念
• 3.1.2 数据追加技术的难点
• 3.1.3 数据追加技术的研究现状
• 3.2 异构数据转换技术
• 3.2.1 基于ODBC的数据转换
• 3.2.2 基于OLE DB的数据转换
• 3.2.3 基于ADO.NET的数据转换
• 3.2.4 基于XML的数据转换
• 3.3 基于元数据的数据转换方法
• 3.4 数据转换中关键技术及难点
• 3.4.1 数据转换冲突及处理
• 3.4.2 数据转换中的元数据
• 3.4.3 数据类型转换
• 3.5 本章小结
• 4 钻井数据仓库ETL工具需求分析
• 4.1 用户需求分析
• 4.2 系统需求分析
• 4.2.1 数据需求分析
• 4.2.2 作业调度需求分析
• 4.2.3 数据追加策略需求分析
• 4.2.4 数据转换复杂性需求分析
• 4.3 钻井数据仓库ETL工具功能需求分析
• 4.4 本章小结
• 5 钻井数据仓库ETL工具系统分析设计
• 5.1 系统设计思路及结构分析
• 5.1.1 系统设计思路
• 5.1.2 系统体系结构分析
• 5.2 系统重要功能模块介绍
• 5.2.1 元数据管理模块
• 5.2.2 数据准备区的设计
• 5.2.3 数据追加模块
• 5.2.4 任务管理模块
• 5.2.5 数据转换加载模块
• 5.3 本章小节
• 6 钻井数据仓库ETL工具的实现
• 6.1 平台的选择
• 6.2 数据访问模块
• 6.3 任务管理模块
• 6.4 数据追加模块
• 6.5 数据转换加载模块
• 6.6 元数据管理模块
• 6.7 本章小结
• 7 钻井数据仓库ETL工具系统测试
• 7.1 ETL工具主界面
• 7.2 任务配置界面
• 7.3 创建一个任务
• 7.3.1 系统登陆
• 7.3.2 连接源数据库和目标数据库
• 7.3.3 配置任务
• 7.3.4 保存任务
• 7.4 进行任务管理
• 7.4.1 设置任务
• 7.4.2 删除任务界面
• 7.5 ETL任务运行
• 7.6 元数据管理
• 7.7 ETL工具测试方案
• 7.8 测试性能分析
• 7.9 本章小结
• 8 论文结论与展望
• 8.1 论文总结
• 8.2 改进方案
• 致谢
• 参考文献