面向数据仓库和数据整合的ETL系统的设计和实现

面向数据仓库和数据整合的ETL系统的设计和实现

论文摘要

随着信息技术的高速发展,信息资产逐渐成为现代企业核心竞争力的重要组成部分,如何有效的管理企业在运营过程中产生的数据,为企业决策提供依据已经成为信息管理人员所面临的最重要课题。自1970年E.F.Codd博士提出关系型数据库模式以来,历经近40年的发展,关系型数据库系统已经成为数据管理领域的主流,然而这种以快速响应为目标的事务系统模式在面向主题的数据分析应用中存在着先天性不足。因此,在现有关系型数据库之上构建操作数据存储系统(ODS)成为优化企业信息管理,进一步提供有效决策支持的重要技术手段之一。本文以本人近期参与的建行ODS项目为依托,首先从ODS技术的概念和实现技术入手,对ETL技术中各个关键步骤(抽取→转换→加载)的实现机理进行了深入探讨。本文详细介绍了中国建设银行ODS系统中ETL总体架构和应用部署方案,作为本人工作的重点,本文提出了将原有的业务平台数据移植到ODS系统的方法,利用ETL技术将原来部署在山东省分行的中间业务平台数据、IC卡系统数据、医保卡系统数据和公积金系统数据移植到新上线的中国建设银行ODS系统之中。本文对利用现有业务系统构建ODS系统进行了有益的尝试,有效的解决了管理数据库与业务数据库之间的数据整合问题,实现了跨域的数据集成,保证了数据的时效性和准确性,为上下级的统一调度和企业决策提供了平台。

论文目录

  • 摘要
  • ABSTRACT
  • 第一章 引言
  • 1.1 课题的背景与意义
  • 1.2 项目来源
  • 1.3 本文的主要工作
  • 1.4 论文框架
  • 第二章 ODS:操作型数据存储
  • 2.1 操作型数据存储(ODS)的提出
  • 2.2 ODS的体系结构
  • 2.3 ODS和数据仓库的比较
  • 2.4 ODS数据转换层设计
  • 第三章 ETL技术综述
  • 3.1 构建ODS的第一步: ETL
  • 3.2 ETL的作用与意义
  • 3.3 ETL系统结构
  • 3.4 ETL实现工具
  • 第四章 ETL模型实例分析与设计
  • 4.1 金融行业现有信息环境分析
  • 4.2 建行ODS系统实现设计
  • 4.3 建设银行ODS项目中ETL的实现
  • 4.4 建设银行ETL架构设计
  • 第五章 ODSB-ETL系统的设计与实现
  • 5.1 业务系统数据分析
  • 5.2 数据迁移流程
  • 5.3 ETL系统逻辑设计
  • 5.4 ETL各模块的具体实现
  • 5.4.1 数据抽取提供模块
  • 5.4.2 数据清洗转换模块
  • 5.4.3 数据加载模块
  • 第六章 结论与展望
  • 6.1 结论
  • 6.2 展望
  • 参考文献
  • 致谢
  • 学位论文评阅及答辩情况表
  • 相关论文文献

    • [1].命名实体识别在数字人文中的应用——基于ETL的实现[J]. 图书馆论坛 2020(05)
    • [2].ETL多数据流并行抽取系统的设计与实现[J]. 广东技术师范学院学报 2015(08)
    • [3].ETL技术在餐饮业油水分离器监测系统中的应用[J]. 数字技术与应用 2016(04)
    • [4].充分运用ETL工具,构建完整的数据仓库体系结构[J]. 科技创新与应用 2015(17)
    • [5].基于ETL技术的医院绩效管理系统设计与实现[J]. 中国数字医学 2015(11)
    • [6].基于云计算的数据仓库ETL系统研究与优化[J]. 湘南学院学报 2014(02)
    • [7].ETL多数据流并行抽取中监控的研究与设计[J]. 微计算机信息 2011(03)
    • [8].数据仓库中ETL过程及技巧浅析[J]. 中国科技信息 2009(02)
    • [9].一种面向数据仓库的ETL多层实现策略[J]. 福建电脑 2009(12)
    • [10].浅谈数据仓库中ETL的重要性[J]. 科技信息(科学教研) 2008(18)
    • [11].点击流数据仓库中的ETL技术[J]. 科技信息(科学教研) 2008(20)
    • [12].ETL技术在复杂数据迁移项目中的应用[J]. 西安工程大学学报 2008(04)
    • [13].数据仓库维度建模与ETL过程[J]. 辽宁高职学报 2008(10)
    • [14].基于子模式的关系数据到图数据ETL方法研究[J]. 计算机工程与应用 2017(12)
    • [15].汽车行业数据仓库应用敏捷型ETL过程的研究[J]. 现代计算机(专业版) 2015(34)
    • [16].基于自主式ETL的煤炭企业统一数据交换平台的设计与实现[J]. 中国煤炭 2014(08)
    • [17].基于ETL等技术的建设用地三级联动技术研究[J]. 国土资源信息化 2013(02)
    • [18].数据映射技术在ETL过程中的应用[J]. 计算机系统应用 2012(07)
    • [19].数据仓库与ETL技术在超市中的应用研究[J]. 电脑知识与技术 2011(18)
    • [20].数控机床传感器数据分析中ETL系统改进[J]. 计算机系统应用 2017(09)
    • [21].基于ETL技术的数据交换平台在电子政务领域中的应用[J]. 电脑知识与技术 2016(21)
    • [22].ETL技术在运营商数据仓库中的应用[J]. 电信快报 2015(11)
    • [23].教学管理数据仓库中ETL的实现[J]. 科技创新导报 2011(16)
    • [24].基于数据仓库的一种通用ETL工具的设计与实现[J]. 电脑知识与技术 2008(26)
    • [25].高校数据仓库多层架构设计与ETL实现[J]. 上海工程技术大学学报 2015(02)
    • [26].人保财险公司数据仓库数据ETL的设计[J]. 计算机光盘软件与应用 2014(12)
    • [27].一种人口信息共享的ETL设计方案[J]. 西南民族大学学报(自然科学版) 2011(05)
    • [28].点击流数据仓库中ETL子系统的应用研究[J]. 硅谷 2009(07)
    • [29].ETL在金融信贷风险数据仓库中的应用[J]. 中国科技信息 2009(10)
    • [30].数据仓库中ETL技术的研究与改进[J]. 甘肃科技 2012(19)

    标签:;  ;  

    面向数据仓库和数据整合的ETL系统的设计和实现
    下载Doc文档

    猜你喜欢