基于ETL的数据管理方法的分析和实现

论文摘要

随着计算机网络和数据库技术的飞速发展以及人们获取数据手段的多样化,各种数据资源日益丰富数据量急剧增加,大学作为社会大家庭的一个重要成员,信息化和网络化程度也随之发生了巨大变化,许多部门在不同程度上依靠计算机软件来辅助完成工作,通过使用这些软件提高了业务处理能力和办公效率。但是日益增多的、不同种类的信息数据也给数据库管理带来了很多的问题,主要表现在数据清洗和数据复制两大方面,比如怎么样纠正数据错误、避免错误决策、降低决策风险?怎么样能够使各部门之间的信息既能灵活交流和共享,又能统一管理和使用?目前主要的方法是对这些数据进行数据清洗和数据的同步复制。通过清洗使我们得到的元数据是可信的、安全的、一致的,然后把这些清洗后的数据通过数据同步复制工具灌入公共数据库中去,从而使学校的各个部门能够共享数据资源。本文介绍了基于ETL(Extract,Transfer,Load)的数据清洗和数据复制的原理,并在实际工作中加以应用,主要工作如下:(1)介绍现阶段国内外数据复制和数据清洗的主要技术及其应用;(2)指出大学各个部门之间的数据源、数据质量和数据的一致性方面存在的问题;(3)分析数据存在的质量问题并设计清洗策略和复制策略;(4)阐述如何运用数据清洗和同步复制工具Oracle Data Integrator(简称ODI)把来自各个不同数据源的数据抽取出来,按照预定的规则清洗,然后转移,复制加载到目标数据库(即公共数据库)中去,以达到数据资源共享的目的。(5)论文在预防可疑数据的清洗策略方面和如何兼顾数据复制的效率和性能方面有待进一步讨论。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 第一节 课题研究背景
• 第二节 数据清洗技术
• 第三节 数据复制技术
• 第四节 国内外相关领域发展现状
• 第五节 本课题研究理论和实际意义
• 第二章 数据管理技术
• 第一节 ETL概念
• 第二节 ODI开发工具
• 第三节 数据质量
• 第三章 高校信息管理系统存在的问题
• 第一节 数据一致性问题
• 第二节 编码规范问题
• 第三节 数据标准问题
• 第四节 数据冲突
• 第四章 数据管理的分析和设计
• 第一节 数据管理综述
• 第二节 数据管理流程
• 第三节 数据管理详细设计
• 第五章 数据管理的实现
• 第一节 准备工作
• 第二节 数据清洗的实现
• 第三节 数据复制的实现
• 第六章 测试
• 第一节 数据复制的测试
• 第二节 数据清洗的效果分析
• 第三节 测试过程的特殊说明
• 第七章 结论与展望
• 参考文献
• 后记