元数据驱动的EPDM与E&P数据模型双向映射研究

论文摘要

中国石油自1989年起对勘探与开发模型进行研究，形成了勘探开发数据模型（E&P）标准，随着油田企业信息化需求的不断提高，勘探开发数据模型得到不断升级。为满足勘探开发一体化应用需求，经过四年的模型研究与构建，于2009年形成了中国石油天然气勘探开发综合数据模型（EPDM）标准。该数据模型在构建过程中充分吸纳了POSC的Epicentre模型的先进理念。目前，面临E&P和EPDM数据模型的更替问题，然而，由于早期的应用系统都是基于E&P模型开发，所以短时间内这些应用系统是不能废弃的。如何能将E&P历史数据迁移到EPDM中，同时为了支持基于E&P的应用系统，还必须考虑EPDM新产生的数据与E&P同步的问题。传统的数据交换采用一对一编程的方法实现，由于各个油田企业之间的E&P模型也存在差异，所以针对不同油田企业分别编程实现数据交换的方法，不仅开发的工作量大，而且以后的维护量也呈指数增长，对于如此复杂的数据模型这种方式不可行。基于上述问题，为解决中国石油各油田企业E&P数据向EPDM的迁移及EPDM数据与E&P的同步问题。本文提出了一个基于元数据驱动的异构数据模型的双向数据映射策略，并将ETL技术引入到异构数据模型的数据交换中来，重点解决了如下几个方面问题，首先，通过对这些模型存在的各种异构问题的详细分析，从理论上将数据映射关系定义为三个级别：模式级、表级和字段级；其次，按照映射的复杂程度将映射关系分为简单映射关系和复合映射关系；接着讨论了这两种映射关系的双向映射、可逆与不可逆等问题；之后，通过对映射关系的分析，对各种映射规则与转换函数进行了定义，并采用元数据构建数据字典、映射规则、驱动映射等元模型；最后，通过基于ETL框架设计了数据迁移的体系结构，实现了集数据映射、数据抽取、转换及加载等功能于一体的应用系统。该系统已在大庆与西南等油田数据迁移中得到了很好的应用，应用结果表明所提出的异构数据模型双向映射策略有效地解决了EPDM数据模型与E&P数据模型间异构数据的双向映射问题，而且具有可扩展性，为通用数据交换问题研究提供了一个很好的参考。

论文目录

• 摘要
• ABSTRACT
• 创新点摘要
• 第一章 绪论
• 1.1 课题研究背景
• 1.2 数据映射技术发展现状
• 1.2.1 数据映射技术概述
• 1.2.2 国内外数据映射研究现状
• 1.3 本文研究内容及意义
• 1.3.1 本文研究内容
• 1.3.2 本文研究意义
• 1.4 本文组织
• 第二章 相关概念与关键技术
• 2.1 异构数据模型概述
• 2.1.1 数据模型概述
• 2.1.2 异构数据模型的产生
• 2.2 数据转换技术
• 2.2.1 数据转换的概念
• 2.2.2 数据转换的方法
• 2.3 元数据技术
• 2.3.1 元数据的概念
• 2.3.2 元数据模型的概念与优势
• 2.4 ETL 技术
• 2.4.1 ETL 原理
• 2.4.2 ETL 与元数据的关系
• 2.5 本章小结
• 第三章 E&P 与 EPDM 数据模型研究
• 3.1 勘探开发模型发展历程
• 3.2 E&P 数据模型分析
• 3.2.1 模型概述
• 3.2.2 模型剖析
• 3.3 EPDM 数据模型分析
• 3.3.1 模型概述
• 3.3.2 模型剖析
• 3.4 模型间差异分析
• 3.5 本章小结
• 第四章 异构数据模型间的映射关系
• 4.1 映射关系定义
• 4.2 映射关系描述
• 4.2.1 映射关系的确定步骤
• 4.2.2 映射关系分类
• 4.2.3 映射关系的表现形式
• 4.3 双向映射关系描述
• 4.4 双向映射中可逆与不可逆映射问题分析
• 4.4.1 映射关系可逆与不可逆描述
• 4.4.2 简单映射关系可逆性分析
• 4.4.3 复合映射关系可逆性分析
• 4.5 本章小结
• 第五章 数据映射策略详细分析及元模型构建
• 5.1 映射规则描述
• 5.1.1 映射规则定义
• 5.1.2 映射规则种类
• 5.2 数据转换函数描述
• 5.3 双向数据映射中的元模型设计
• 5.3.1 映射规则元模型的实体关系图
• 5.3.2 数据字典元模型
• 5.3.3 映射规则元模型
• 5.3.4 驱动映射元模型
• 5.4 映射算法分析
• 5.4.1 外键引用映射算法
• 5.4.2 主键字段映射算法
• 5.4.3 属性条件拆分映射算法
• 5.5 本章小结
• 第六章 系统设计实现及应用
• 6.1 系统总体设计
• 6.1.1 系统总体设计框架
• 6.1.2 系统用例设计
• 6.1.3 系统静态结构设计
• 6.1.4 系统动态结构设计
• 6.2 系统功能模块设计与实现
• 6.2.1 配置数据源
• 6.2.2 映射规则定制模块的实现
• 6.2.3 映射规则检验模块的实现
• 6.2.4 数据转换模块的实现
• 6.2.5 数据加载的实现
• 6.2.6 数据检测模块的实现
• 6.3 本章小结
• 结论
• 参考文献
• 发表文章目录
• 致谢
• 详细摘要