基于ETL的数据交换技术的研究与实现

论文摘要

信息是影响当今企业发展的要素,而数据交换则是企业跨区域共享数据、应用信息的前提。ETL（Extract-Transform-Load）是数据仓库的重要组成部分,是数据从数据源向数据仓库流动的必经阶段。利用ETL进行数据交换是当前许多企业采取的手段。本文根据国电集团公司信息化平台建设要求及ETL技术的特点,提出了数据交换的整体架构,并结合ETL工具进行了实现。架构改进了传统数据交换的直接集成模式,在电厂与集团之间引入数据交换节点,使整个过程的可控性、安全性得以加强。针对交换中定时批量、实时增量等场景分别提出了实施策略,解决了交换过程中VPN连接、数据集成、嵌套文件夹扫描、断点续传等细节问题。本文所用ETL工具为开源产品,操作简洁直观,可进行二次开发,使任务的编排更为灵活。在实际应用中,已基本完成了项目初期的部署及试运行工作,证明了架构的合理性,可以满足多个电厂与集团间的信息交流,体现出便捷、安全、高效等优点,对于国电集团数据仓库的构建及信息化平台的丰富完善具有很高的研究意义和应用价值。

论文目录

• 内容提要
• 第1章 绪论
• 1.1 项目背景
• 1.2 国内外研究概况
• 1.3 本文主要工作
• 1.3.1 内容及结构
• 1.3.2 创新点
• 第2章 相关理论
• 2.1 数据交换概述
• 2.1.1 数据交换的定义
• 2.1.2 常见数据交换技术
• 2.2 数据仓库与ETL
• 2.2.1 数据仓库基础知识
• 2.2.2 ETL的原理与应用
• 第3章 数据交换方案设计
• 3.1 数据交换的位置
• 3.1.1 基建MIS
• 3.1.2 数据交换的位置
• 3.2 数据交换场景
• 3.3 数据交换架构设计
• 3.3.1 对传统ETL模式的改进
• 3.3.2 逻辑架构
• 3.3.3 物理架构
• 3.3.4 安全架构
• 3.4 数据交换实施方式
• 3.4.1 相关产品测试
• 3.4.2 ETL工具Kettle
• 第4章 数据库数据交换的实现
• 4.1 本地局域网内数据交换
• 4.1.1 目标
• 4.1.2 定时批量交换
• 4.1.3 实时增量交换
• 4.2 异地连接VPN数据交换
• 4.2.1 目标
• 4.2.2 VPN的连接及断开
• 4.2.3 数据交换
• 4.2.3.1 定时批量交换
• 4.2.3.2 实时增量交换
• 4.2.4 数据集成
• 第5章 文件数据交换的实现
• 5.1 目标
• 5.2 软件的部署
• 5.3 传输类的设计
• 5.4 功能实现
• 第6章 结束语
• 6.1 全文总结
• 6.2 前景展望
• 参考文献
• 致谢
• 摘要
• Abstract