实时数据仓库关键技术的研究与实现

论文摘要

随着计算机技术和信息技术的不断发展,海量数据的不断涌现,企业迫切需要对数据进行高效、准确、及时的分析。传统数据仓库一般是按天、周或者月作为数据的更新周期,可以提供对历史数据的分析与查询,能够帮助决策者制定企业运营战略,但却不能实时地反映企业商业信息的变化。然而当前在电子商务、金融经济等领域中,需要及时的将数据发送到决策者手中,为企业提供更有价值的战术型决策支持,因此实时数据仓库应运而生。数据的实时性和查询的频繁性是实时数据仓库的两个重要特性,它成为了实时数据仓库系统设计中的难点。当前,对于实时数据仓库领域的研究主要集中在两个方面,1)如何实时的对源系统中的变更数据进行抽取、转换、清洗并加载到数据仓库中;2)如何解决好变更数据不间断持续的更新集成和大规模频繁的并发查询之间的冲突。本课题在深入研究和分析实时数据仓库的需求和特性的基础上,改进了实时数据仓库的架构模型,并提出了一种更新查询调度框架,该框架包括了触发机制和调度机制两个部分。在触发机制中,利用了批量数据加载的高效性以及数据仓库中数据的集成性和聚合性,设计了一套高效的触发规则,并采用了基于事件-监听的方式实现。在调度机制中,对任务进行两阶段调度,第一个阶段根据上一个周期已执行任务的运行状况和不同任务的到来频率,决定对更新或查询任务队列进行调度;第二阶段根据更新任务的实时性要求,对更新任务进行优先级划分,从而决定对哪个具体任务进行调度。该调度机制有效地利用了更新和查询任务的上下文环境,进一步优化了系统资源的分配。本课题还对数据仓库中封闭立方体算法进行了研究,并提出了一种基于封闭立方体语义优化的查询算法。该算法一方面可以有效地缩减检索范围;另一方面可以有效地利用父查询点的结果来指导子查询点的查询。最后,本文通过实验对更新查询调度框架中的性能关键点和查询优化算法的性能进行完整的评估,并将上面研究的数据仓库技术应用到电子商务领域的数据仓库实践中,对数据仓库业务应用集成方法进行了详细的总结。

论文目录

• 摘要
• Abstract
• 插图清单
• 表格清单
• 第一章 绪论
• 1.1 研究背景及意义
• 1.2 国内外研究现状
• 1.3 课题来源
• 1.4 研究内容
• 1.5 论文结构
• 1.6 本章小结
• 第二章 数据仓库与实时数据仓库技术
• 2.1 数据仓库技术
• 2.1.1 数据仓库的定义
• 2.1.2 数据仓库的特性
• 2.1.3 数据仓库的体系架构
• 2.1.4 数据仓库的建模方法
• 2.2 实时数据仓库
• 2.2.1 实时数据仓库的定义
• 2.2.2 实时数据仓库与传统数据仓库的比较
• 2.2.3 实时数据仓库的应用
• 2.3 本章小结
• 第三章 实时数据仓库的架构设计与分析
• 3.1 实时数据仓库架构设计
• 3.1.1 实时数据仓库体系架构分析
• 3.1.2 实时数据仓库架构模型
• 3.2 实时数据加载分析
• 3.3 实时数据建模分析
• 3.4 实时数据查询分析
• 3.5 本章小结
• 第四章 更新查询调度框架研究
• 4.1 问题定义
• 4.2 更新查询调度的整体框架
• 4.3 触发机制的设计与实现
• 4.3.1 触发规则的三个影响因素
• 4.3.2 触发规则的基本思想
• 4.3.3 触发机制的实现方法
• 4.3.4 触发机制的具体算法
• 4.4 调度机制的设计与实现
• 4.4.1 调度机制的三个影响因素
• 4.4.2 调度机制的基本思想
• 4.4.3 调度机制的具体算法
• 4.4.4 调度机制的衡量指标
• 4.5 本章小结
• 第五章 封闭立方体语义的查询优化研究
• 5.1 问题定义
• 5.2 封闭立方体技术介绍
• 5.3 封闭立方体查询优化
• 5.3.1 点查询优化
• 5.3.2 范围查询优化
• 5.4 本章小结
• 第六章 数据仓库在电子商务中的应用
• 6.1 数据仓库在电商领域的应用现状
• 6.2 数据仓库系统实施分析与设计
• 6.2.1 架构设计分析
• 6.2.2 架构设计方案
• 6.2.3 具体设计与实现
• 6.3 数据仓库的业务应用集成方法
• 6.3.1 历史拉链方法
• 6.3.2 宽表模型方法
• 6.3.3 汇总数据增量刷新方法
• 6.4 本章小结
• 第七章 实验与结果分析
• 7.1 实验环境
• 7.2 实验数据集
• 7.3 实验结果与分析
• 7.3.1 调度框架性能测试
• 7.3.2 封闭立方体查询优化性能测试
• 7.4 实验结论
• 7.5 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间取得的研究成果
• 致谢