实时数据仓库环境中科学数据排重模型的研究

论文摘要

在信息时代,正确的决策成为竞争强有力的武器。为制定战略意义上的商业计划,进行战术上的商业决策,各企业纷纷构建数据仓库。但是,由于数据仓库从各种数据源中导入大量的数据,而一些数据源包含“脏”数据的概率是非常高的；另一方面,对用于决策支持的数据仓库而言,其中数据的质量对避免错误的决策是至关重要的。重复数据是影响数据质量的一个重要因素,数据重复不仅会造成数据的冗余,使数据量增大,增加数据仓库的负担,还会严重影响分析和决策。因此,在数据仓库中,数据排重是提高数据质量的必不可少的方法之一。实时数据仓库是数据仓库技术的一个新的发展方向。它是指一个数据源的任何改变都自动,且立即反映到数据仓库中。实时数据仓库的发展又给保证数据质量的问题带来了新的挑战。实时数据仓库的数据源的变化是即时反应到数据仓库中的,也就是说ETL是实时的,这就需要实时的保证数据的质量,以支持前端的查询和分析。而以前的质量保证的研究大多是基于非实时的数据仓库,因此,需要一种新的调度方法来更加准确、高效的保证数据仓库中数据的可信度。本文首先提出了一种面向科学数据的通用排重模型,介绍了科学数据特点,然后详细描述了该排重模型,证明传统的“排序&合并”方法不适合于科学数据排重并给出本模型的算法细节,同时介绍了该模型的调度流程、体系结构和实现；然后,分析了实时数据仓库中数据质量保证的困难和问题,提出了在实时环境下的排重优先调度策略、实时调度策略、ETL优先调度策略,并且一一给出了具体分析,在ETL优先调度策略中,定义了排重繁忙度、累积延时等评价指标,给出了基于时间和基于事件的两种调度策略,从而将SD2M排重模型应用于实时数据仓库之中；最后,通过实验证明SD2M排重模型的稳定性和高效性、以及本文所提出的实时环境下的调度策略的合理性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.1.1 数据排重简介
• 1.1.2 实时数据仓库简介
• 1.2 本文的目标与意义
• 1.3 本文完成工作
• 1.4 本文组织结构
• 第二章 相关技术概述
• 2.1 实时数据仓库
• 2.1.1 实时数据仓库的定义
• 2.1.2 实时数据仓库与传统数据仓库的比较
• 2.1.3 实时数据仓库的体系结构
• 2.2 数据质量
• 2.2.1 数据质量的定义
• 2.2.2 数据质量的重要性
• 2.2.3 数据质量的评价标准
• 2.3 数据排重
• 2.3.1 递归匹配方法
• 2.3.2 Smith-Waterman算法
• 2.3.3 多趟临近排序方法
• 2.4 调度算法
• 2.4.1 先来先服务调度算法
• 2.4.2 优先级法
• 2.4.3 最短任务优先法
• 2.4.4 最高响应比优先法
• 2.5 本章小结
• 2M排重模型及排重算法'>第三章 SD²M排重模型及排重算法
• 3.1 科学数据的特点
• 2M模型定义'>3.2 SD²M模型定义
• 2M排重算法'>3.3 SD²M排重算法
• 3.3.1 完全排重
• 3.3.2 增量排重
• 3.4 排重模板
• 2M算法性能优化'>3.5 SD²M算法性能优化
• 2M模型系统结构'>3.6 SD²M模型系统结构
• 3.7 相关工作
• 3.8 本章小结
• 2M模型的排重调度'>第四章 RTDWH中基于SD²M模型的排重调度
• 4.1 问题的提出
• 4.2 排重优先调度策略
• 4.3 实时调度
• 4.4 ETL优先调度策略
• 4.4.1 调度分析
• 4.4.2 基于时间触发的调度
• 4.4.3 基于事件触发的调度
• 4.5 策略评价
• 4.6 相关工作
• 4.7 本章小结
• 2M排重模型的测试与应用'>第五章 SD²M排重模型的测试与应用
• 5.1 实验结果
• 5.1.1 排重算法实验
• 5.1.2 调度算法效果
• 5.2 案例分析
• 5.3 本章小结
• 第六章 结束语
• 6.1 本文工作
• 6.2 进一步工作
• 参考文献
• 致谢
• 攻读硕士期间参加的项目及发表的论文