银行业ODS系统的研究与实现

论文摘要

经过多年的金融电子化建设,银行积累了大量的反映银行经营管理活动的数据,然而,由于早期的信息化建设是个逐步摸索的过程,缺乏统一的规划和信息标准,导致了在大多数银行的数据存储中出现了没有统一的数据源、数据孤岛、数据不一致、数据质量不高、安全性低等问题阻碍了银行经营管理的智能分析,本课题的研究正是基于目前银行数据存储的弊端,着重研究了ODS系统在银行业中的应用。本文在充分理解数据仓库和操作型数据存储（Operational Data Store,ODS）的理论基础上,对数据仓库和ODS做以比较,凸显ODS的作用和优势,针对银行业的现状,给出了在原有DB-DW的体系结构中,加入ODS,从而形成了DB-ODS-DW的三层体系结构。根据银行业的案例,本文给出了银行业中利用ODS处理数据的的总体架构、数据存储方案,以及在实现过程中起到关键作用的ETL架构设计,分析了数据存储过程中的数据质量控制,并在最后探讨了系统扩展性设计问题。

论文目录

• 摘要
• ABSTRACT
• 第1章 引言
• 1.1 研究背景和现状分析
• 1.2 课题研究内容和目标
• 1.3 本文的安排
• 第2章 ODS技术概述
• 2.1 数据仓库的产生及在行业中的应用
• 2.1.1 数据仓库的产生
• 2.1.2 数据仓库在银行业中的应用
• 2.2 操作型数据存储（ODS）的产生
• 2.3 ODS的概念和特点
• 2.4 ODS的体系结构与作用
• 2.5 ODS与数据仓库的比较
• 2.6 其它相关概念
• 2.6.1 ETL
• 2.6.2 数据集市
• 2.6.3 DataStage
• 2.7 本章小结
• 第3章 系统分析与总体设计
• 3.1 行业应用背景
• 3.2 功能分析
• 3.2.1 功能性目标
• 3.2.2 非功能性目标
• 3.3 系统总体架构设计
• 3.3.1 逻辑架构
• 3.3.2 物理架构
• 3.4 ODS运行引擎组成模块说明
• 3.5 配置清单
• 3.6 本章小结
• 第4章 数据存储方案
• 4.1 数据量分析
• 4.2 ODS数据存储结构
• 4.3 物理表的结构
• 4.4 本章小结
• 第5章 ETL架构
• 5.1 ETL架构设计应具有的特性
• 5.1.1 高效性
• 5.1.2 可扩展性
• 5.1.3 灵活性
• 5.1.4 可迁移性
• 5.1.5 可恢复性
• 5.2 标准ETL过程的设计
• 5.2.1 源系统卸数过程
• 5.2.2 数据标准化过程
• 5.2.3 数据模型化过程
• 5.2.4 汇总计算过程
• 5.2.5 数据提交过程
• 5.3 数据周期的管理
• 5.3.1 Cycle调度策略
• 5.3.2 业务日期的切换
• 5.4 本章小结
• 第6章 数据质量控制
• 6.1 数据物理核验
• 6.1.1 物理核验的范围
• 6.1.2 数据检核结果的控制
• 6.1.3 数据质量提高的机制
• 6.2 数据业务检核
• 6.3 本章小结
• 第7章 性能和扩展性设计
• 7.1 性能的考虑
• 7.1.1 数据存储和访问
• 7.1.2 ETL过程
• 7.2 扩展性
• 第8章 结论与展望
• 致谢
• 参考文献
• 个人简历 在读期间发表的学术论文与研究成果