采油厂数据中心ETL系统研究与实现

论文摘要

随着“数字化油田”建设的不断发展,油田采油厂的数据中心建设工作日益重要。采油厂数据中心建设的目标是实现数据集中存放,统一管理,统一数据库出口。随着油田源头数据采集系统的不断推广,越来越多的数据源要实现从源头数据库统一录入,根据应用的需要加载到数据中心应用数据库中才能供应用系统使用。由于历史、技术或者人为等因素的影响,“垃圾数据”在各个应用系统中不停地增长,数据质量已经成为很大的隐患。而ETL（Extract-Transform-Load）系统正是针对异构数据源来抽取数据,进而转换为正确的、有效的、格式统一的数据,最终为企业的发展提供数据支持。本文主要是在阅读大量文献和工作实践的基础上,深入研究了国内外ETL技术及其应用,详细分析了胜利采油厂数据中心业务流程,将ETL技术与实际工作相结合,根据采油厂数据中心的实际业务,重点研究了数据中心中的ETL系统建设,以满足数据中心数据处理的需求。本文在深入剖析ETL技术的基础上,根据采油厂数据中心业务的实际情况,详细阐述了数据中心ETL系统的设计与实现。该系统包括数据质量管理和ETL数据处理两个子系统,前者采用B/S架构,后者采用C/S架构,两者使用同一个底层元数据库。数据质量管理子系统从数据源保证数据质量,同时可减轻ETL服务器的工作负荷。ETL数据处理子系统包括模型管理、映射关系、模型建库、结构检查、数据抽取、数据转换、数据加载等功能模块。数据中心ETL系统已在胜利采油厂投入使用,应用情况表明该系统是可行并有效的,在数据中心数据整合及油田开发数据整合中发挥了重要作用,并带来了很好的效益。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 目的和意义
• 1.1.1 急需数据管理、数据处理信息系统
• 1.1.2 数据管理工作没有形成系统的规范与流程
• 1.1.3 ETL 系统是采油厂乃至油田信息化发展的迫切需要
• 1.2 国际石油公司数据中心建设状况
• 1.3 研究内容和本文结构
• 1.4 本章小结
• 2 相关技术
• 2.1 ETL 的概念
• 2.2 ETL 体系结构
• 2.3 ETL 国内外现状
• 2.4 ETL 必要性
• 2.5 数据清洗
• 2.6 ODAC
• 2.7 本章小结
• 3 采油厂数据中心业务流程分析
• 3.1 源头数据统一采集前数据中心业务流程分析
• 3.1.1 整体业务流程分析
• 3.1.2 原有业务流程存在问题分析
• 3.2 规范化的采油厂数据中心业务流程分析
• 3.2.1 规范化业务流程分析
• 3.2.2 规范化数据中心业务流程优点
• 3.3 数据中心ETL 系统构思
• 3.4 本章小结
• 4 数据质量管理系统设计与实现
• 4.1 数据质量管理子系统设计
• 4.2 数据质量约束规则定义模块
• 4.2.1 完整性约束规则定义
• 4.2.2 及时性约束规则定义
• 4.2.3 准确性约束规则定义
• 4.2.4 一致性约束规则定义
• 4.3 数据质量控制模块
• 4.3.1 检查范围
• 4.3.2 检查时间
• 4.3.3 检查方式设定
• 4.4 数据质量检查模块
• 4.4.1 完整性检查指标
• 4.4.2 及时率检查指标
• 4.4.3 数据一致性检查
• 4.5 数据质量分析评价模块
• 4.5.1 实时发布数据检查质量问题
• 4.5.2 对确认数据质量进行跟踪
• 4.5.3 数据处理任务监控
• 4.6 数据质量辅助管理模块
• 4.7 数据质量管理子系统对性能的要求
• 4.7.1 时间特性要求
• 4.7.2 灵活性
• 4.8 本章小结
• 5 ETL 数据处理系统设计与实现
• 5.1 采油厂数据中心ETL 数据处理系统体系结构
• 5.1.1 采油厂数据中心ETL 数据处理系统体系设计说明
• 5.1.2 采油厂数据中心ETL 数据处理系统功能
• 5.1.3 采油厂数据中心ETL 处理流程
• 5.2 ETL 数据处理系统数据库设计
• 5.3 实现环境
• 5.4 各子系统的设计与实现
• 5.4.1 登录模块
• 5.4.2 模型管理子系统的设计与实现
• 5.4.3 映射、转换、加载子系统的设计与实现
• 5.4.4 辅助管理子系统的设计与实现
• 5.5 本章小结
• 6 采油厂ETL 系统应用效果及评价
• 6.1 应用背景
• 6.2 效果及评价
• 6.2.1 系统使用前的数据管理状态
• 6.2.2 系统使用后效果
• 6.2.3 使用评价
• 6.3 本章小结
• 7 结论
• 7.1 本文工作回顾
• 7.2 下一步工作
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文目录