工行山东分行综合数据集成平台的分析与设计

论文摘要

随着工商银行数据大集中的逐步深入,各种业务不断进行整合,各种系统的数据逐步集中到了总行,形成了上海、北京两大数据中心,各分行基本上不再保留任何主机的数据。在这种模式下,各行对于经营管理分析基本上依赖于报表返传数据以及总行开发的CS2002等系统。这种模式在数据大集中初期并没有任何问题,但是随着业务的发展和公司的上市,工商银行开始了精细化运作,对客户评介、员工考核越来越细致,经营决策需要考虑的因素越来越多,对数据的要求越来越高,简单的利用总行的CS2002等系统以及每天返传的报表数据进行统计分析无论是从数据质量的要求还是数据范围的要求以及数据的时效性要求等方面都远远不够,急需建立一套完整的数据平台为管理决策、客户评价、员工考核提供数据支持。本文以员工综合业绩评价、客户评价两个具体的需求为突破口,对员工业绩评价、客户评价所需要的数据需求进行了详细的分析,确定了数据的来源,描述了系统的用例图、顺序图,设计了系统的网络架构、体系架构和逻辑架构,对数据库的表进行了ER表示,参照以往系统的开发经验和工行总行的要求选择了搭建平台所需要的软硬件环境。对Oracle数据库的表空间技术、表和索引分区机制、外部表技术进行了详细的研究,通过对各种ETL工具的比较,设计了一套适合工行山东分行的数据抽取导入(ETL)方案,实现了数据从数据源到数据仓库的抽取、清洗和转换的过程,为综合数据集成平台建立了数据池。通过对Oracle数据库的参数进行优化,设计了符合要求的数据老化、数据备份策略。最后,建立了一个以SUSE Linux Enterprise 9为操作系统,ORACLE10G为后台数据库,使用WebSphere6.0作为应用服务器中间件的综合数据集成平台,实现对当前主机返传数据、国际卡业务数据、CM2002下载数据、PCM2003下载数据、网银下载数据、电话银行下载数据的加工、利用与存储,为工行山东分行的特色系统开发提供基础数据和开发环境,以满足我行目前客户评价、员工考核、经营数据分析的要求。

论文目录

• 摘要
• ABSTRACT
• 第1章 引言
• 1.1 系统开发背景
• 1.2 国内外同类课题状况
• 1.2.1 国内研究的现状
• 1.2.2 国外研究的现状
• 1.3 本文的主要工作
• 1.4 论文的组织结构
• 第2章 数据集成平台的需求分析
• 2.1 系统概述
• 2.2 目前山东分行数据平台的现状分析及对应的解决方法
• 2.3 系统数据流程分析
• 2.4 系统需求问题描述
• 2.4.1 系统功能性需求
• 2.4.2 系统非功能性需求
• 2.5 系统用例图
• 2.6 系统顺序图
• 第3章 数据集成平台概要设计
• 3.1 设计原则
• 3.2 系统网络架构
• 3.3 系统体系架构
• 3.4 系统逻辑结构
• 3.5 系统的软、硬件平台的分析
• 3.5.1 软件平台的选择
• 3.5.2 硬件设备的选择
• 3.6 数据库 ER图
• 第4章 数据集成平台数据库详细设计
• 4.1 数据库的表空间设计和外部表的引入
• 4.1.1 表空间的设计
• 4.1.2 使用外部表技术实现外部数据的引入
• 4.2 数据库表和索引分区的设计
• 4.2.1 分区功能的基本知识
• 4.2.2 分区功能的优势
• 4.2.3 Oracle表和索引分区的方法
• 4.2.4 综合数据平台的分区策略
• 4.3 ETL的设计
• 4.3.1 国内、外ETL的研究现状
• 4.3.2 Oracle自带的ETL工具分析
• 4.3.3 本系统的ETL工具的设计
• 4.4 作业调度
• 4.4.1 Quartz开源框架的介绍
• 4.4.2 BDI作业调度包装Quartz的具体实现方式
• 4.5 数据库数据的备份
• 第5章 总结与展望
• 5.1 目前综合数据集成平台的应用情况
• 5.2 综合数据集成平台的展望
• 参考文献
• 致谢
• 学位论文评阅及答辩情况表