基于ETL技术的电信业数据仓库质量控制模型的研究及应用

论文摘要

数据仓库作为支持决策制定过程的重要手段,近几年来得到了迅速地发展,并已经成功地应用到制造业、零售业、金融服务、电信、运输等多个行业,正显示了其勃勃生机和强大的生命力。但是在数据仓库的建设过程中,一个被广泛认识但又常常被忽略的问题是数据仓库中的数据质量的控制。高质量的决策必然依赖于高质量的数据。为了避免得出错误的结论,数据的正确性是至关重要的,否则就会出现所谓的垃圾进,垃圾出(garbage in ,garbage out)的现象。如何检测并排除潜藏在进入数据仓库中数据的错误,以保证数据仓库中数据质量,进而为正确的决策打下坚实的基础,这是在建设数据仓库时必须重点考虑的核心问题,也是本文阐述的重点。本论文提出了基于统一工作流的ETL模型进行数据质量控制的方法,基于这种模型每个数据表的ETL流程都按照ETL的特性统一分为3个标准步骤,即数据抽取/变换(Extract/Convert)、数据转换(Transform)和数据加载(Load—ing),每个步骤需要记录完整的处理中间状态及完善的日志信息。并详细介绍了在ETL各个过程中采取的数据质量的控制方法。然后介绍了这种ETL模型在实际项目中的架构设计及应用。通过对这种ETL模型的扩展应用,设计出了基于ETL技术的数据仓库数据质量的稽核模块。通过该模块的应用可以将数据质量问题分类,建立相应的校验规则及阀值,并支持规则的动态增加。这样就使得数据仓库系统数据质量的控制上升到了一个更高的层次。

论文目录

• 摘要
• ABSTRACT
• 第一章 概述
• 1.1 课题背景
• 1.1.1 项目背景
• 1.1.2 课题背景
• 1.2 数据仓库中的数据质量控制的国内外研究现状
• 1.2.1 数据清洗
• 1.2.2 利用ETL 工具
• 1.3 研究内容及意义
• 1.3.1 论文的主要内容
• 1.3.2 研究的意义
• 第二章 基于ETL 技术的数据仓库质量控制模型
• 2.1 数据仓库中的数据质量分析
• 2.1.1 数据质量对数据仓库的影响
• 2.1.2 数据仓库中产生数据质量问题的原因
• 2.1.3 源系统中数据质量的控制
• 2.2 数据集成过程中基于ETL 技术的质量控制模型
• 2.2.1 ETL 对于数据质量管理的意义
• 2.2.2 基于统一工作流的ETL 模型
• 2.2.3 基于ETL 技术的数据预处理和数据清洗策略
• 2.3 基于ETL 工具的数据质量稽核机制
• 2.3.1 数据质量稽核策略
• 2.3.2 数据稽核机制的验证模型
• 2.3.3 数据质量稽核机制的组织模型及管理流程
• 第三章 基于ETL 技术的电信数据仓库质量控制的架构设计
• 3.1 基于数据质量控制的ETL 架构设计
• 3.1.1 数据仓库系统逻辑架构设计
• 3.1.2 ETL 系统应用架构设计
• 3.2 ETL 接口设计
• 3.2.1 ETL 系统与源系统数据的接口设计
• 3.2.2 Staging Area 接口描述
• 3.3 数据集成过程中的数据质量控制设计
• 3.3.1 ETL 过程中的数据预处理及清洗
• 3.3.2 拒绝文件的处理
• 第四章 上海电信数据质量稽核模块的实现与应用
• 4.1 数据稽核角色定位
• 4.2 数据稽核模块的功能设计
• 4.3 数据稽核流程设计
• 4.4 数据稽核模块的实现
• 4.5 数据质量稽核模块中ETL 流程监控实现及应用
• 4.6 应用结果讨论
• 第五章 总结和展望
• 5.1 本文总结
• 5.2 进一步研究
• 攻读硕士学位论文期间已发表或录用的论文
• 参考文献
• 致谢