独立演进型分布式数据仓库系统的创建技术研究

论文摘要

许多组织机构建立了能够满足某个领域或某个部门需求的数据仓库系统。但随着企业规模的不断扩大及企业的合并与重组,这些在不同时期建立的独立数据仓库系统的弊病逐渐显现出来,因而出现了独立演进型分布式数据仓库技术。分布式数据仓库把分散的数据有机整合起来,使决策者能从大量数据中获得有价值的信息,以便更好地支持决策行为。本文围绕独立演进型数据仓库的体系结构、一致性维护策略、分布式ETL等关键技术进行了深入细致地研究,结合实际项目,提出了基于文件传输的数据一致性维护策略。本文重点研究了分布式数据仓库的数据抽取策略和网络环境下的数据传输策略,提出了一种通用的基于文件的传输数据构造形式和数据传输的实时规则、适时主动规则、适时被动规则及非定时规则。在全局数据文件字典和中心节点数据文件字典的支持下,提出了正常传输、定时传输和后台传输三种策略,较好解决了数据仓库在分布式环境下的数据集成问题。并将这些关键技术应用于特种设备监督检验与安全监察数据仓库系统的设计与开发中,获得了较好的效果。由于在分布式环境下数据的抽取、转换、装载是一个非常复杂的问题,因此与传统集中式环境下基于“ETL引擎”的方式有较大不同,本文仅对分布式ETL的概念模型进行了研究。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 分布式数据仓库的提出
• 1.2 建立分布式数据仓库的意义
• 1.3 课题背景
• 1.4 本文工作
• 第2章 分布式数据仓库概述
• 2.1 数据仓库概念及特点
• 2.2 分布式数据仓库
• 2.2.1 DDW 的定义
• 2.2.2 DDW 的特点
• 2.2.3 DDW 的类型
• 2.3 数据仓库、分布式数据库与分布式数据仓库
• 2.3.1 数据仓库与分布式数据仓库
• 2.3.2 分布式数据库与分布式数据仓库
• 2.4 分布式数据仓库的体系结构
• 2.5 独立演进型DDW
• 2.5.1 产生原因
• 2.5.2 DDW 创建过程中的关键技术
• 2.6 小结
• 第3章 独立演进型 DDW 中基于文件传输的一致性维护策略
• 3.1 问题的提出
• 3.2 传输数据的构建策略
• 3.2.1 数据构建策略的相关因素
• 3.2.2 数据准备
• 3.3 文件组织形式的选取策略
• 3.3.1 文件选取的依据
• 3.3.2 利用Excel 文件进行数据交换
• 3.3.3 利用XML 文件进行数据交换
• 3.4 数据文件的传输规则
• 3.4.1 实时规则
• 3.4.2 适时规则
• 3.4.3 非定时规则
• 3.4.4 数据文件传输规则的选取策略
• 3.5 文件传输的执行策略
• 3.5.1 全局数据字典的建立
• 3.5.2 执行策略
• 3.6 传输文件检验策略
• 3.7 特种设备监督检验与安全监察数据仓库系统中数据的传输规则
• 3.7.1 全局站点字典的建立
• 3.7.2 数据规范
• 3.7.3 主要传输对象
• 3.8 小结
• 第4章 分布式 ETL 技术研究
• 4.1 传统的ETL
• 4.1.1 ETL 的组成
• 4.1.2 ETL 的步骤
• 4.2 分布式ETL
• 4.2.1 分布式环境中ETL 出现的问题
• 4.2.2 分布式ETL 的组成
• 4.3 小结
• 结论
• 本文主要做了以下几个方面的工作
• 未来研究展望
• 参考文献
• 致谢
• 攻读硕士期间发表（含录用）的学术论文