商务智能系统中元数据管理和应用研究

论文摘要

以数据仓库为核心的商务智能(BI)技术日益受到业界重视,许多BI系统己经投入使用,带来了巨大的效益。但是由于各大开发商采用不同的数据仓库元数据标准和管理策略,使得数据仓库之间的数据集成与共享十分困难,由此引发了人们对元数据管理和应用的研究。随着数据仓库的数据质量问题越来越引起重视,更进一步让人们认识到了元数据管理和应用的重要性。本课题在中国太平洋保险公司(CPIC)建设企业数据仓库(EDW)的项目背景下对BI系统中的元数据管理和应用作了研究。元数据管理不是一个单纯的技术问题,因为元数据管理的很多内容需要依靠管理制度、流程、其它辅助工具以及人工参与来完成。元数据管理技术和元数据管理策略都是进行成功的元数据集成所必需要重视的研究内容。本课题研究了BI系统中的元数据管理技术和元数据管理策略,通过在CPIC建设EDW项目第二阶段中使用文档服务器实现元数据手工管理,部分实践了元数据管理技术和元数据管理策略。元数据的用户包括技术用户和业务用户。元数据应用贯穿于BI系统从设计开发到运行维护的整个生命周期,本课题从业务用户和技术用户的角度分别研究了在BI系统开发和运行维护过程中几个重要的元数据应用场景。并通过开发一个简单的元数据驱动的数据映射工具来说明了元数据对数据集成工具开发的重要性。由于BI系统涉及到大量业务系统的集成,因此需要一个统一的元数据标准支持才能实现各子系统元数据的有效集成。公共仓库元模型(CWM)是对象管理组织(OMG)提出的一个通用的数据仓库元数据规范,已经得到了各大工具厂商的支持。本课题还重点研究了CWM规范的体系结构,并依据CWM规范进行了初步的元数据仓储应用开发。论文先对元数据管理和应用作了理论研究,然后基于项目过程进行了应用实践,主体上由三部分组成:第一部分对元数据管理和应用作了理论上的研究。首先介绍了元数据的基本概念,阐述了BI系统中元数据管理策略的主要内容和主要的元数据管理技术,重点介绍了CWM规范的基本内容;然后从业务用户和技术用户的角度分别研究了在BI系统开发和运行维护过程中几个重要的元数据应用场景,重点阐述了应用元数据解决数据仓库数据质量问题,并以Assencial数据整合解决方案为例介绍了元数据驱动的数据集成解决方案。第二部分对元数据管理和应用从规划和实施过程方面进行了实践。首先阐述了CPIC建设EDW项目中以MetaStage作为元数据管理工具的建立联邦式元数据体系的元数据规划,部分实践了前述的元数据管理策略和元数据管理技术;然后阐述了CPIC建设EDW项目第二阶段用文档服务器进行元数据手工管理的实施情况。第三部分对元数据管理和应用从软件设计开发方面进行了实践。首先记述一个简单的元数据驱动的数据映射工具的开发过程,以说明元数据对数据集成工具开发的重要;然后部分地介绍了CWM规范的体系结构,并依据CWM规范进行了初步的元数据仓储应用开发;

论文目录

• 摘要
• Abstract
• 1. 绪论
• 1.1. 研究背景
• 1.2. 项目背景
• 1.3. 相关领域的研究现状
• 1.4. 本课题的研究成果
• 2. 元数据基础概念
• 2.1. 元数据和元数据仓储
• 2.1.1. 元数据
• 2.1.2. 元数据的作用
• 2.1.3. 元数据的重要性
• 2.1.4. 元数据仓储
• 2.2. 典型的元数据应用和元数据格式
• 2.2.1. 典型的元数据应用
• 2.2.2. 主要元数据格式
• 2.3. 元数据管理的五级成熟度
• 2.3.1. 第一级: 随机状态（Ad-hoc）
• 2.3.2. 第二级: 发现
• 2.3.3. 第三级: 管理控制
• 2.3.4. 第四级: 优化
• 2.3.5. 第五级: 自动化
• 2.4. 商务智能系统中的元数据管理策略
• 2.4.1. 元数据的来源
• 2.4.2. 元数据分类
• 2.4.3. 使用元数据的用户
• 2.4.4. 元数据管理系统的实现途径
• 2.4.5. 元数据管理工具
• 2.4.6. 元数据集成项目开发方法
• 2.4.7. 元模型和元数据标准的选择
• 2.4.8. 元数据质量要求
• 2.4.9. 元数据的投资回报率ROI；
• 2.5. 商务智能系统中的元数据管理技术
• 2.5.1. 元数据集成体系结构
• 2.5.2. 元数据的获取和集成技术
• 2.5.3. 元数据的存储技术
• 2.5.4. 元数据交换技术
• 2.5.5. 元数据展现技术
• 2.5.6. 元数据管理与维护技术
• 3. 商务智能系统中元数据的应用
• 3.1. 数据仓库的数据质量问题
• 3.2. 业务用户对元数据的应用
• 3.2.1. 数据血缘分析
• 3.2.2. 处理过程分析
• 3.2.3. 影响分析
• 3.2.4. 数据时效性探察
• 3.2.5. 元数据相关性分析
• 3.3. 技术用户对元数据的应用
• 3.3.1. 元数据驱动的数据集成解决方案
• 3.3.2. 使用元数据来控制数据仓库的信息质量
• 4. CPIC P05 项目元数据管理规划
• 4.1. CPIC P05 项目元数据管理的目标
• 4.2. 元数据范围
• 4.3. CPIC EDW 的元数据体系结构
• 4.3.1. CPIC EDW 的系统概念架构
• 4.3.2. 元数据体系结构规划
• 4.3.3. 一致的元模型
• 4.3.4. 元数据的一致性
• 4.4. 元数据管理系统拓扑结构
• 4.4.1. 元数据管理服务器节点
• 4.4.2. 系统基础层元数据
• 4.4.3. 获取层元数据
• 4.4.4. 系统数据访问层元数据
• 4.4.5. 数据仓库管理元数据
• 4.4.6. MetaData 终端
• 4.5. 元数据管理规定
• 4.5.1. 元数据存储规定
• 4.5.2. 元数据备份要求
• 4.5.3. 元数据接口
• 4.5.4. 元数据安全
• 4.6. 元数据管理平台的功能需求
• 4.6.1. 元数据获取
• 4.6.2. 元数据维护
• 4.6.3. 权限管理
• 4.6.4. 版本控制
• 4.7. 元数据管理实施策略
• 4.7.1. 实施前提
• 4.7.2. 技术决定
• 4.7.3. 管理策略决定
• 4.8. 元数据管理的实施方法
• 4.8.1. 人员组织
• 4.8.2. 实施计划
• 5. CPIC EDW 元数据管理实施及元数据应用
• 5.1. CPIC EDW 元数据管理实施
• 5.1.1. 业务元数据的管理
• 5.1.2. 技术元数据的管理
• 5.2. 元数据应用
• 5.2.1. 元数据业务应用举例--处理过程分析
• 5.2.2. 元数据业务应用举例--数据血缘分析
• 6. 应用元数据开发数据映射工具
• 6.1. 数据映射工具开发需求
• 6.2. 数据映射工具的开发实现
• 6.2.1. 填写基本信息
• 6.2.2. 填写实体映射关系
• 6.2.3. 产生空白的字段映射关系列表
• 6.2.4. 填写映射规则
• 6.2.5. 保存映射成果
• 7. 基于CWM 的元数据管理系统开发
• 7.1. CWM 体系结构概述
• 7.1.1. CWM 总体结构
• 7.1.2. 核心包
• 7.1.3. 关系型包
• 7.2. 采用关系数据库构建元数据仓储
• 7.3. 简单元数据仓储应用的开发
• 7.3.1. 在CWM 元数据仓储中建立关系型数据库元模型
• 7.3.2. 从CWM 元数据仓储中读出关系型数据库元模型
• 8. 总结和展望
• 8.1. 工作总结
• 8.2. 工作展望
• 术语和缩写
• 致谢
• 参考文献目录
• 攻读学位期间发表的学术论文