首页> 正文

ETL若干关键技术研究

2020-11-22阅读(613)

ETL若干关键技术研究

论文摘要

ETL过程在数据仓库的建设与维护中占据了相当重要的位置，用于将数据源的数据经抽取、转换后，装载入数据仓库中。降低ETL过程设计、维护代价以及提高ETL过程的执行效率，可以有效降低数据仓库的建设和维护代价，这是本文研究的目标。设计完成的ETL过程可能需要更改，便于修改的增量ETL过程维护代价就低，这与描述ETL过程的模型有关。ETL过程中，增量ETL过程的设计代价最高，基于数据仓库是建立在远程数据源上的物化视图集合的观点，全量ETL过程是这些物化视图的定义，增量ETL过程则是其增量维护的过程，则可以利用已有物化视图增量维护的方法，根据全量ETL过程来生成增量ETL过程。但是ETL过程还包括了数据清理和异构数据转换，这是传统的关系模型所无法描述的。完整的扩展ETL过程不仅包括将正确的数据装载到数据仓库中，还需要将数据源中的错误数据进行修正，提高逆向数据清理的执行效率同时也就提高了ETL过程的执行效率。本文工作的主要贡献和研究内容如下：1．给出了一个用于描述ETL过程的模型，称为ETL过程树，将异构数据转换、数据清理与查询树结合。ETL过程树中数据清理规定只作用于单个关系节点，当修改ETL过程树中的数据清理规则时，不会对ETL过程树本身产生影响，降低了ETL过程的维护代价。2．给出了差运算物化视图的增量维护的方法，给出了SRA和BRA两种增量维护方法，并讨论了增量的大小对这两种方法执行效率的影响。3．在前两点的研究基础上，给出了根据描述全量ETL过程的ETL过程树自动产生增量ETL过程的算法，从而降低ETL过程的设计总代价。4．利用已有数据血统查询的方法，同时考虑增量ETL过程中错误数据只出现于插入增量中的特性，给出了在增量ETL过程上进行错误数据逆向查询的算法，提高了逆向数据清理的效率。

论文目录

  • 摘要
  • Abstract
  • 第一章 前言
  • 1.1 研究背景与意义
  • 1.2 相关研究
  • 1.2.1 ETL过程的描述
  • 1.2.2 降低ETL过程设计代价
  • 1.2.3 提高逆向数据清理效率
  • 1.3 本文工作
  • 1.3.1 ETL表示逻辑
  • 1.3.2 差运算物化视图的增量维护
  • 1.3.3 自动产生增量ETL过程
  • 1.3.4 增量ETL过程上的错误数据逆向查询
  • 1.4 本文结构
  • 第二章 ETL表示逻辑
  • 2.1 基本概念
  • 2.1.1 ETL过程
  • 2.1.2 数据转换
  • 2.1.3 数据清理
  • 2.2 基本ETL过程与数据清理的区别
  • 2.3 数据清理的特点
  • 2.4 数据清理的描述
  • 2.4.1 数据清理的分类
  • 2.4.2 错误（或冲突）数据的判断
  • 2.4.3 错误（或冲突）数据的处理
  • 2.4.4 数据清理的执行顺序
  • 2.5 ETL过程中的特殊转换
  • 2.6 ETL过程树
  • 2.6.1 特殊转换节点在ETL过程树中的位置
  • 2.7 本章小结
  • 第三章 物化视图的增量维护
  • 3.1 基本概念
  • 3.1.1 物化视图增量维护的基本概念
  • 3.1.2 非相关更新与净增量
  • 3.1.3 物化视图的自维护问题
  • 3.2 己有的关系运算物化视图维护方法
  • 3.2.1 联接运算物化视图
  • 3.2.2 选择运算物化视图
  • 3.2.3 投影运算物化视图
  • 3.2.4 并运算物化视图
  • 3.2.5 聚合运算物化视图
  • 3.3 差运算物化视图的增量维护
  • 3.3.1 使用BRA方法求取物化视图的净增量
  • 3.3.2 物化视图自维护特性分析
  • 3.3.3 改进净增量获取效率
  • 3.3.4 两种差运算增量维护方法的效率分析
  • 3.3.5 差运算增量维护方法的实验与分析
  • 3.4 本章小结
  • 第四章 自动产生增量ETL过程
  • 4.1 基本概念
  • 4.1.1 ETL过程增量维护基本概念
  • 4.1.2 增量ETL过程自动化产生的基本原理
  • 4.1.3 数据源增量的获得
  • 4.1.4 自维护物化视图与自维护净增量
  • 4.2 规范化关系代数转换节点
  • 4.2.1 通用视图定义的规范化
  • 4.2.2 关系代数转换节点的规范化
  • 4.3 实现关系代数转换节点的增量维护
  • 4.3.1 AUSPJ片段的增量维护
  • 4.3.2 D片段的增量维护
  • 4.4 特殊转换节点的增量维护
  • 4.5 关系节点上物化视图的选择
  • 4.6 自动产生增量ETL过程
  • 4.7 实验与分析
  • 4.8 本章小结
  • 第五章 增量ETL过程中错误数据逆向查询
  • 5.1 基本概念
  • 5.1.1 逆向数据清理
  • 5.1.2 数据血统查询概念
  • 5.1.3 各类关系运算的逆运算
  • 5.1.4 ETL过程的规范化及DPT算法
  • 5.2 增量中的逆向数据查询
  • 5.2.1 各类关系运算在插入增量中的逆运算
  • 5.2.2 AUSPJ片段与D片段的插入增量逆运算
  • 5.3 增量ETL过程中的错误数据逆向查询
  • 5.4 错误数据逆向查询的优化
  • 5.4.1 绑定属性的定义和传递
  • 5.4.2 利用绑定属性直接获得查询结果
  • 5.4.3 利用绑定属性消除选择条件
  • 5.5 实验与分析
  • 5.6 本章小结
  • 第六章 ETL工具的实现
  • 6.1 ETL工具架构
  • 6.2 ETL工程
  • 6.3 ETL过程的优化
  • 6.4 临时ETL过程的保存
  • 6.5 特殊转换模块/数据清理模块的实现
  • 6.6 增量ETL过程自动产生模块的实现
  • 6.7 ETL过程在图形用户界面中的表示
  • 结论与展望
  • 结论
  • 展望
  • 参考文献
  • 在校期间科研情况
  • 在校期间发表论文情况
  • 致谢

    • 相关论文文献

    • [1].基于自回归模型的嵌入式系统劣质数据清理方法[J]. 信息记录材料 2019(11)
    • [2].临床研究数据清理经验和实例[J]. 中国循环杂志 2018(08)
    • [3].微观妙论[J]. 科学之友(上半月) 2019(02)
    • [4].不动产数据整合技术路线及相关问题解决措施研究[J]. 科技创新导报 2019(33)
    • [5].电网规划基础数据清理分析方法[J]. 办公自动化 2015(01)
    • [6].河南:通信管理局全面启动空壳类备案数据清理工作[J]. 中国信息安全 2011(02)
    • [7].RFID网络数据清理技术的实践分析[J]. 信息通信 2012(01)
    • [8].对我国企业数据清理的研究[J]. 企业技术开发 2011(20)
    • [9].Oracle Timesten内存数据库自动数据清理机制探究[J]. 电脑知识与技术 2010(35)
    • [10].轻舟巧过万重山[J]. 华北电业 2010(01)
    • [11].大型数据中心数据清理的策略与方法[J]. 中国金融电脑 2011(09)
    • [12].重庆:数据清理整合保“金质”[J]. 信息化建设 2014(01)
    • [13].新手需注意的十个损害CRM系统数据的操作[J]. 计算机与网络 2011(12)
    • [14].崇州市社保局扎实开展退休人员数据清理[J]. 四川劳动保障 2015(09)
    • [15].浅析企业数据清理[J]. 通讯世界 2015(04)
    • [16].不动产统一登记历史数据清理整合浅谈[J]. 四川档案 2015(04)
    • [17].浅谈OA系统的数据清理[J]. 中国管理信息化 2013(09)
    • [18].全国无线电台站数据清理登记工作总结(摘编)[J]. 中国无线电 2009(11)
    • [19].资源采购价格数据清理在企业中的作用[J]. 化工管理 2018(11)
    • [20].一种Web使用挖掘数据清理方法[J]. 四川大学学报(工程科学版) 2014(S1)
    • [21].不动产登记中土地房屋数据清理整合技术研究[J]. 科技创新导报 2018(22)
    • [22].数据挖掘中的数据清理技术概述[J]. 河南科技 2018(20)
    • [23].从财务角度探讨ERP实施过程中数据清理[J]. 中国乡镇企业会计 2013(04)
    • [24].实用的数据收集与清理模型的研究与应用[J]. 计算机系统应用 2009(10)
    • [25].浅析数据清洗[J]. 计算机光盘软件与应用 2013(11)
    • [26].基于云模型的电能质量可疑数据清理方法[J]. 华东电力 2013(08)
    • [27].SAP ECC物资数据清理后的BW调整[J]. 信息与电脑(理论版) 2015(11)
    • [28].基于SSIS的图书借阅数据清理与加载[J]. 科技资讯 2011(25)
    • [29].脱贫攻坚实施阶段首战告捷 干在实处 变大水漫灌为精准滴灌[J]. 祖国 2017(18)
    • [30].重庆市城镇地房籍系统建设与应用[J]. 国土资源信息化 2013(04)

    标签：;  ;  ;  ;  ;  

    ETL若干关键技术研究
    下载Doc文档

    猜你喜欢

    © 2024 毕速过 版权所有 鄂ICP备12018319号-5