实时数据仓库中基于QoS的更新与查询调度策略研究

论文摘要

随着企业和组织的信息化建设的不断发展,企业或组织已收集了大量的数据,利用数据仓库技术（Data Warehousing）和联机分析处理技术以及数据挖掘技术为决策者提供了定量化的决策依据。数据仓库系统已经成为企业和组织生产经营决策不可或缺的辅助工具。然而,传统的数据仓库一般是周期性更新的,并且更新的周期是一天或一周。所以,决策所用的数据并没有包括最新的信息。从而,基于传统数据仓库的战略决策在时间的实时性上不能满足要求。因此,出现了实时数据仓库系统（Real-Time Data Warehousing, RTDWH）.实时数据仓库系统中数据源的数据变换需要及时地捕获以便能够及时地更新到数据仓库中,而数据仓库上的查询分析又是在线的,因此会引起数据更新和用户的查询分析之间的冲突。本文的主要工作也致力于解决以上两个问题上。针对变化数据的捕获问题,本文采用了Oracle提供的CDC工具来实现变化数据捕获。本文中给出了一种基于CDC工具的变化数据捕获方案并给出了相应的流程设计,同时通过实验证明了该方案的可行性。在解决数据更新与查询冲突的问题上,采用由用户内部机制与外部机制结合的策略,并通过服务质量（QoS）指标监测反馈来保证数据的新鲜度与查询的响应速度。外部机制是由用户指定查询速度需求与数据新鲜度的需求情况下,来完成数据的更新与查询的调度算法；而内部机制是在外部机制不能保证系统正常更新的情况下,来强行执行数据更新的一种算法。实验结果表明本文提出的QOS指标和调度策略,能够很好地协调数据更新和用户查询之间的冲突。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题来源
• 1.2 研究背景与意义
• 1.3 国内外研究现状
• 1.4 研究内容与目标
• 1.5 论文结构
• 第二章 实时数据仓库相关技术概述
• 2.1 传统数据仓库
• 2.1.1 数据仓库定义与特点
• 2.1.2 数据仓库的结构
• 2.2 实时数据仓库
• 2.2.1 实时数据仓库概述
• 2.2.2 实时数据仓库的结构与特点
• 2.2.3 实时数据仓库与传统数据的异同
• 2.3 实时数据仓库中的关键技术概述
• 2.3.1 变化数据捕获
• 2.3.2 服务质量与数据质量
• 2.3.3 实时更新策略概述
• 2.4 本章小结
• 第三章 变化数据捕获策略
• 3.1 基于LogMiner的变化数据捕获
• 3.1.1 Oracle日志简述
• 3.1.2 Oracle日志的两种模式
• 3.1.3 LogMiner进行日志挖掘的基本流程
• 3.2 基于CDC的变化数据源捕获
• 3.2.1 CDC工具捕获变化数据源概述
• 3.2.2 CDC相关的数据库对象
• 3.2.3 对变化数据处理
• 3.2.4 CDC捕获模块流程设计
• 3.3 本章小结
• 第四章 基于QOS的查询-更新调度
• 4.1 实时数据仓库查询更新调度的指标评定
• 4.1.1 数据质量指标评定
• 4.1.2 服务质量指标评定
• 4.1.3 实时调度任务指标评定
• 4.2 基于QoS的更新与查询调度策略设计
• 4.2.1 由用户指定查询与更新需求的外部机制
• 4.2.2 根据反馈调整数据更新的内部机制
• 4.3 本章小结
• 第五章 实验研究
• 5.1 基于QoS的实时数据仓库体系结构
• 5.1.1 实验环境的总体框架
• 5.1.2 调度控制的组件功能说明
• 5.1.3 总体流程简介
• 5.2 CDC变化数据捕获的实现与性能测试
• 5.2.1 CDC捕获变化数据源的实现过程
• 5.2.2 CDC性能测试
• 5.3 查询/更新调度算法的实验设计与结果演示
• 5.3.1 实验流程设计
• 5.3.2 实验结果
• 5.4 本章小结
• 第六章 结束语
• 6.1 工作总结
• 6.2 进一步工作与展望
• 参考文献
• 致谢
• 攻读硕士期间参加的项目及发表的论文