论文题目: 数据集成方案中的元数据管理系统研究
论文类型: 硕士论文
论文专业: 计算机应用技术
作者: 章水鑫
导师: 徐宏炳
关键词: 元数据,元数据管理,数据谱系,软件可扩展性
文献来源: 东南大学
发表年度: 2005
论文摘要: 在数据集成过程中,元数据为整个系统中的数据提供一张完整的数据地图。通过元数据,我们可以了解到系统中的数据结构、数据来源、数据去向以及系统中的一些业务处理规则等。在现有的元数据管理工具中,往往仅仅关注数据集成过程中的一部分,如ETL过程的元数据或数据仓库中的元数据。然而,在数据集成越来越复杂,数据越来越多的今天,如果仅仅对这些元数据进行管理是不能够满足当前对元数据管理的需求的。因此,我们有必要提出一种元数据管理框架。通过该框架,我们能够了解在整个数据集成过程中涉及到的数据源、ETL过程、数据目标的元数据,并且能够使这些元数据之间进行一定的交互。基于这种需求,本文提出了一种覆盖整个数据集成过程的元数据管理框架。它是一个以联邦式元数据库为基本思想,参考CWM元数据标准并结合高校数据集成中的共享数据库平台实际情况的元数据管理框架原型。可扩展性是元数据管理工具开发的重要需求之一。随着时间的推移,业务系统中的业务处理规则可能发生变化,对元数据查询的需求可能会增加。如何通过最简单的方式实现工具对这种变化需求的满足是工具开发中的难点之一。本文提出了一种动态关键字标识的方式来满足这种可扩展性。工具通过维护关键字和动态链接库的路径表来实现对元数据的动态需求。动态链接库与关键字相对应用以实现关键字所描述的功能。ETL过程是数据集成中的重要步骤之一,是一个以元数据为驱动实现数据的集成的过程。因此如何描述、存储和管理其中的元数据极为重要。本文将从逻辑上描述一个ETL过程,并给出一个简化的ETL元数据存储模型。在数据集成中,我们经常需要了解数据的来龙去脉,以增加数据可信度。我们以实例说明了本框架中如何实现一个数据谱系的追踪。
论文目录:
摘要
Abstract
第一章 引言
1.1 背景
1.2 相关研究
1.3 本文的组织结构
第二章 相关技术
2.1 元数据标准
2.1.1 元数据标准的重要性
2.1.2 元数据标准的目标
2.1.2.1 工具间元数据共享
2.1.2.2 工具间互操作
2.1.3 良好元模型标准的构成
2.1.4 元数据标准CWM模型
2.2 XML技术
2.2.1 XML作为元数据交换格式的优势
2.2.2 XML元数据交换—XMI（XML Metadata Interchange）
第三章 元数据管理系统框架
3.1 共享数据库平台
3.2 良好元数据管理体系结构的构成
3.3 现有典型的元数据管理系统框架
3.3.1 独立分布式结构
3.3.2 集中式结构
3.3.3 联邦式结构
3.3.4 CWM提出的基于模型的元数据体系结构
3.4 共享数据库平台的元数据管理系统框架
3.4.1 元数据代理框架（MPF）
3.4.2 MPF中的基本概念
3.4.2.1 数据对象
3.4.2.2 元数据交换模型
3.4.2.3 异步通信模式
3.4.3 MPS / MPC软件
3.4.4 MPC的状态
3.4.5 全局工作组
3.4.6 数据报文格式（Data Message Format）
3.4.6.1 报文分类
3.4.6.2 报文格式
3.4.7 报文处理流程
第四章 元数据管理中的关键技术研究
4.1 可扩展元数据查询的实现方法
4.2 元数据版本维护
4.3 元数据的安全管理模式
4.4 本地元数据库维护
4.4.1 元数据抽取方法及其示例
4.4.2 一般RDBMS的元数据库模型
4.4.3 ETL元数据描述与存储模型
4.4.3.1 ETL过程元数据描述
4.4.3.2 ETL元数据模型
4.5 中央元数据库维护
4.6 数据谱系的追踪
第五章 结束语
5.1 论文总结
5.2 未来工作展望
参考文献
发布时间: 2007-06-11
参考文献
- [1].GIS领域多源异构数据集成的普适性处理框架研究[D]. 徐强.陕西师范大学2018
- [2].非法集资数据集成与共享平台的设计与实现[D]. 任岱榕.北京交通大学2018
- [3].易天数据管理系统数据集成和数据分析模块的设计与实现[D]. 刘寒啸.南京大学2018
- [4].面向异构大数据集成的实体识别技术研究[D]. 张福麟.北京邮电大学2018
- [5].基于ETL的数据集成及交换系统的实现与优化[D]. 李磊.北方工业大学2018
- [6].人员数据集成管理平台的设计与实现[D]. 李磊.北京交通大学2017
- [7].基于协同工作的分布式数据集成的研究与实现[D]. 郭绍永.武汉理工大学2009
- [8].异构知识仓库数据集成关键技术的研究与实现[D]. 冯尚攀.北京邮电大学2016
- [9].基于本体的科学数据集成与共享方法研究[D]. 吕岳东.太原科技大学2010
- [10].区域异构医疗数据集成与交换技术的研究与实现[D]. 程颖.河北科技大学2017
相关论文
- [1].数据仓库元数据管理架构研究[D]. 杨在申.北京交通大学2007
- [2].基于公共仓库元模型的元数据管理的研究和实现[D]. 李珊珊.华侨大学2006
- [3].电子政务元数据管理系统的研究与设计[D]. 应英.西北工业大学2007
- [4].基于元数据管理的OLAP系统设计与实现[D]. 楼笑.东南大学2005
- [5].元数据模型在数据统一平台中的应用[D]. 郑义.华北电力大学（北京）2007
- [6].基于元数据的ETL工具设计和实现[D]. 罗小称.华东师范大学2007
- [7].元数据集成系统研究及应用[D]. 徐慧.江苏大学2005
- [8].面向海量数据的元数据管理和复制算法研究[D]. 秦永进.国防科学技术大学2004
- [9].大规模事务处理系统中元数据管理系统的设计与实现[D]. 林繁.国防科学技术大学2004
- [10].基于元模型的信息资源管理技术研究[D]. 周芳.大庆石油学院2006