面向银行数据仓库的数据质量管理研究与实现

论文摘要

建设企业级中央数据仓库是目前各大商业银行的发展趋势。通过建立数据仓库可以有效提高商业银行风险管理、客户关系管理、市场营销的水平。数据仓库项目的整体质量密切依赖于各源系统数据质量和数据仓库内部的处理加工,数据质量问题与客户对数据仓库的信任度密切相关。本研究围绕商业银行金融数据的综合利用问题,运用Teradata数据库、Control-M工作流平台、AOP思想和数据挖掘方法对商业银行的数据质量管理进行了相关性研究。主要内容如下:1)分析了国内外数据质量研究领域的现状,数据仓库和数据质量的概念以及ETL方法在保证数据仓库数据质量中的运用,阐述了体系结构、元数据与数据质量之间的关系。2)通过在元数据模型加入了行业知识和质量因素,实现数据仓库的质量驱动。3)结合RBAC和AOP思想控制数据仓库数据质量管理人员权限实现数据仓库数据质量的合理管控,解决了数据仓库管理中的复杂角色问题,并为数据仓库ETL过程引入了工作流调度方法。4)结合某商业银行的具体情况,分析了数据质量问题产生的原因,设计了其数据仓库的元数据管理系统,提出了数据质量检查过程,并对其进行了实践与验证,结果表明该方法的施行促进了数据仓库数据质量的提升,提高了客户的满意度。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 前言
• 1.2 相关领域研究现状
• 1.3 课题的研究背景和主要内容
• 1.3.1 研究背景
• 1.3.2 主要内容
• 第二章 数据仓库的数据质量
• 2.1 数据仓库简介
• 2.1.1 数据仓库的特征
• 2.1.2 数据仓库体系结构
• 2.2 数据仓库的数据质量
• 2.2.1 数据质量的定义
• 2.2.2 优质数据质量的特征
• 2.2.3 数据质量是数据仓库的核心
• 2.3 保证数据质量的一般方法-ETL
• 2.3.1 数据质量问题
• 2.3.2 数据清理方法
• 2.3.3 数据孤立点的检测
• 2.3.4 数据质量检查关键技术点
• 2.3.5 模式的重构和冗余数据的清除
• 2.4 体系结构、元数据与数据质量的相互关系
• 2.5 本章小结
• 第三章 扩展元数据模型解决数据质量问题
• 3.1 扩展的元数据模型
• 3.1.1 元数据的内容
• 3.1.2 元数据的管理
• 3.1.3 元数据监视器和浏览器
• 3.1.4 基于扩展元数据库的数据质量评价体系
• 3.2 扩展元数据的管理
• 3.2.1 应用扩展元数据进行ETL操作
• 3.2.2 元数据管理的实现
• 3.3 质量驱动的数据仓库系统设计
• 3.4 本章小结
• 第四章 AOP方法解决数据仓库访问角色权限问题
• 4.1 数据仓库的角色与质量控制权限
• 4.1.1 数据仓库的角色
• 4.1.2 质量控制权限
• 4.2 RBAC和AOP结合用于数据仓库权限控制
• 4.2.1 基于角色访问控制研究
• 4.2.2 面向方面的编程
• 4.2.3 AOP开发步骤
• 4.2.4 AOP和RBAC
• 4.3 本章小结
• 第五章 工作流调度解决数据仓库ETL问题
• 5.1 工作流的定义
• 5.2 工作流管理系统
• 5.2.1 工作流管理系统概念
• 5.2.2 工作流管理系统功能层次
• 5.2.3 工作流管理系统基本结构
• 5.3 本章小结
• 第六章 数据质量管理
• 6.1 项目背景
• 6.2 数据质量问题出现的原因
• 6.2.1 数据仓库所涉及的数据流转过程
• 6.2.2 数据质量问题的来源和影响
• 6.3 某商业银行数据仓库对数据质量的要求
• 6.4 某商业银行数据仓库元数据管理体系
• 6.5 元数据管理系统结构
• 6.5.1 元数据管理系统的逻辑结构
• 6.5.2 元数据管理系统的物理结构
• 6.6 数据质量管理流程设计
• 6.6.1 分级管理制度
• 6.6.2 规则分类
• 6.6.3 规则确认流程
• 6.7 质量检查管理
• 6.7.1 检查任务管理
• 6.7.2 检查规则配置
• 6.7.3 子规则
• 6.7.4 检查策略
• 6.7.5 检查任务调度
• 6.7.6 检查结果存放
• 6.7.7 质量报告实现
• 6.7.8 数据质量检查阶段
• 6.8 本章小结
• 第七章 数据质量评价应用实例
• 7.1 系统侧重点
• 7.1.1 源数据分析
• 7.1.2 接口文件检查
• 7.1.3 数据仓库数据质量检查
• 7.1.4 数据仓库数据质量检查功能需求
• 7.2 数据仓库数据质量管理的展现需求
• 7.3 数据维护系统数据质量模块设计
• 7.3.1 系统层次关系
• 7.3.2 系统平台设计
• 7.3.3 逻辑流程描述
• 7.3.4 数据仓库数据质量部分建模
• 7.4 数据维护系统数据质量模块展示
• 7.5 本章小结
• 第八章 总结与展望
• 8.1 本课题研究工作的总结
• 8.2 进一步研究的规划
• 参考文献
• 攻读硕士学位期间取得的主要科研成果
• 致谢