大型商业银行企业级数据仓库系统的构建

论文摘要

目前国内的商业银行业正处于快速发展阶段,由于其数据量大,业务复杂,风险控制要求高,以及对数据统一管理的迫切性,迫切需要数据仓库技术的支持。数据仓库应用在企业分析、预测、推断以及决策的过程中,起着越来越不可忽视的作用,也能为企业带来可观的收益。目前国外有多家银行已经进行了数年的企业级数据仓库建设,具有丰富的经验,也取得了很多成果。通过企业级数据仓库,商业银行能将之前众多分散的OLTP以及数据集市应用数据整合在一起,形成一个完整的数据视图,为下游应用、分析人员提供了完整、高效、准确的信息。论文根据中国大型商业银行业务以及数据的特点,结合在中国大型商业银行实施的实践,对整个企业级数据仓库在商业银行方面的应用进行了全面的研究与描述,并具体介绍了各个模块的具体设计与实施。整个企业级数据仓库系统主要包括了数据模型,ETL数据加载,元数据管理,数据质量管理,数据服务,数据备份与恢复等模块,每个功能模块都基于数据仓库设计思想与商业银行的特点进行了优化设计与开发,保证整个系统的易用、效率、准确以及安全。该系统的主要特点有：针对源系统大量数据的特点进行整合优化；针对银行业复杂的业务设计了整合的数据主题模型；专门设计并行加载方案,有效提高加载效率；设计了各种加载算法,满足各种不同数据需要；强化元数据与数据质量管理,保证数据仓库系统高效持久运行；针对数据投产专门设计方案,将对目前系统的影响降至最低。目前企业级数据仓库系统已经成功投产并稳定运行,后续开发正稳步开展。企业级数据仓库在为企业解决数据统一完整问题的同时,也为各业务部门提供了良好的数据支持,使客户服务、决策支持更加完善准确,为银行发展提供动力,作用必将愈加明显。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 研究的内容和意义
• 1.2.1 研究的内容
• 1.2.2 研究的意义
• 1.3 论文的章节安排
• 第二章 大型商业银行特点及数据仓库简介
• 2.1 大型商业银行业务特点
• 2.1.1 核心业务系统
• 2.1.2 开放平台业务
• 2.2 大型商业银行数据特点
• 2.2.1 多种数据主题
• 2.2.2 巨大数据量
• 2.2.3 传统数据集市局限
• 2.3 企业级数据仓库概述
• 2.3.1 数据仓库概念
• 2.3.2 数据仓库整体框架
• 2.3.3 数据模型
• 2.3.4 ETL
• 2.3.5 元数据管理
• 2.3.6 数据质量管理
• 2.3.7 与传统数据集市的比较
• 第三章 大型商业银行企业级数据仓库总体架构
• 3.1 需求分析
• 3.1.1 系统建设目标
• 3.1.2 系统功能描述
• 3.1.3 系统主要流程
• 3.2 系统架构设计
• 3.2.1 总体结构
• 3.2.2 数据源接口
• 3.2.3 数据服务功能
• 3.2.4 系统主要功能组件
• 3.2.5 数据仓库环境
• 3.2.6 容量规划
• 3.3 数据模型设计
• 3.3.1 逻辑数据模型
• 3.3.2 物理数据模型
• 第四章 大型商业银行企业级数据仓库详细设计实现
• 4.1 数据ETL模块
• 4.1.1 概述
• 4.1.2 源数据下载方案
• 4.1.3 加载任务设计
• 4.1.4 加载算法设计
• 4.1.5 系统投产设计
• 4.2 数据模型详细设计
• 4.2.1 概述
• 4.2.2 面向业务主题的数据模型
• 4.3 元数据管理模块
• 4.3.1 概述
• 4.3.2 针对不同数据接口的桥接器
• 4.3.3 元数据应用设计
• 4.4 数据质量检查
• 4.4.1 概述
• 4.4.2 数据质量管理自动化流程
• 4.5 数据保留策略
• 4.5.1 概述
• 4.5.2 针对不同种类数据的保留策略
• 第五章 总结与展望
• 5.1 总结
• 5.2 展望
• 参考文献
• 致谢