OLAP系统中Cube并行与分布式处理技术的研究

论文摘要

数据立方体（Data Cube,Cube）是一项可对数据仓库中的数据进行快速访问的技术,它是联机分析处理（On-Line Analytical Processing,OLAP）的主要对象。决策分析者可以在Cube中享受高效率的数据访问,快速获取有用的决策信息。在本文中,我们提出了在并行环境下建立基于高维数据的Cube数据存储和OLAP查询分析系统,以及在网络环境下建立基于海量痕迹数据的Cube数据存储和OLAP查询分析系统,并给出了该方面工作的进一步研究思路。随着数据仓库中数据规模的不断增大,Cube的维度和维度的层次结构日益复杂,在单处理机上物化整个Cube,无论在计算时间还是存储空间上的代价都十分昂贵。尽管采用了许多改进的算法及Iceberg Cube,Condensed cube,Dwarf等Cube压缩技术,也不能从根本上解决高维数据的Cube存储问题,并行技术为我们解决这一问题提供了新思路。本文针对高维数据所引起的“维灾”,提出了一种并行环境下的高效存储结构——HDCube（High Dimensional Cube）,HDCube通过分段划分策略将高维层次数据根据节点的个数划分成若干个低维层次数据,利用并行处理技术创建各个节点上的LDCube（Low Dimensional Cube）,同时充分利用维属性具有层次性的特点,采用基于维层次编码（Dimenison Hierarchical Encoding,DHE）的索引技术,生成各个维的维层次编码表来代替维表中原关键字,在实现维关键字压缩的同时加快了Cube中的数据检索速度。然后结合并行处理技术,建立了并行环境下的HDCube数据存储与OLAP查询分析系统,对HDCube进行并行创建与增量更新维护,并给出了HDCube的并行查询处理及优化算法。理论分析和实验证明,相对于以往的完整物化和部分物化等传统方法,我们提出的并行环境下的HDCube性能有显著的提高,具有很高的效率和加速比。OLAP除了在传统领域,如金融、保险、电信等行业中的特定应用之外,在物流行业的发展也很广阔。我们结合危险品运输过程中产生的海量痕迹数据,提出了海量痕迹数据的Cube存储结构——MTCube（Massive Trace Cube）,MTCube适用于实际应用中普遍存在的海量痕迹数据,它在根据痕迹数据特性大幅度压缩数据的同时,通过层次前缀痕迹（Hierarchy Prefix Trace）和层次前缀标识（Hierarchy Prefix ID）在存储结构中记录数据的痕迹,帮助用户在跟踪危险品的同时,能从庞杂的数据中进行信息提炼,分析现在的、有用的关系和模式,为复杂数据的分析和高层决策提供更有效的支持。由于痕迹数据往往是海量的、地理分布的,同时查询复杂化和显示多样化的需求不断地增加,原有的集中式管理已经越来越表现出其局限性。为此我们提出了建立网络环境下的MTCube数据存储与OLAP查询分析系统,它由若干个本地站点的局部Cube/OLAP系统（Local Cube/OLAP System,LCOS）组成。理论分析和实验证明,我们提出的MTCube在对数据进行高度压缩的同时,可以支持对危险品的有效监控和风险预测。

论文目录

• 摘要
• Abstract
• 第一章 引言
• 1.1 研究背景
• 1.2 课题的引出
• 1.3 论文的主要工作
• 1.4 论文组织
• 第二章 基本理论
• 2.1 数据仓库与OLAP 系统的关系
• 2.2 多维数据模型
• 2.3 DATA CUBE
• 2.3.1 Data Cube 的基本概念
• 2.3.2 Cube 上的OLAP 操作
• 2.3.3 Cube 计算的研究现状
• 2.4 本章小结
• 第三章 HDCUBE 的并行系统结构
• 3.1 相关研究工作
• 3.1.1 基于任务划分的Cube 并行计算
• 3.1.2 基于数据划分的Cube 并行计算
• 3.2 HDCUBE涉及的基本概念
• 3.3 HDCUBE使用的并行模型
• 3.4 HDCUBE的划分策略
• 3.5 HDCUBE的并行系统结构
• 3.6 实验分析
• 3.7 本章小结
• 第四章 HDCUBE 的数据存储索引技术
• 4.1 编码方法
• 4.2 位图索引
• 4.3 HDCUBE的维层次编码
• 4.4 HDCUBE的关联TID 表
• 4.5 实验分析
• 4.6 本章小结
• 第五章 HDCUBE 的并行实现
• 5.1 HDCUBE的并行创建
• 5.2 HDCUBE的增量更新
• 5.3 基于HDCUBE的OLAP 查询
• 5.4 实验分析
• 5.4.1 实验环境和实验数据
• 5.4.2 实验结果及分析
• 5.5 本章小结
• 第六章 MTCUBE 的分布式数据存储与OLAP 查询分析
• 6.1 分布式计算
• 6.2 痕迹数据（TRACE DATA）
• 6.3 MTCUBE的分布式结构
• 6.4 MTCUBE的数据压缩
• 6.5 MTCUBE的立方体构造
• 6.6 MTCUBE的增量更新
• 6.6.1 模式更新
• 6.6.2 数据更新
• 6.7 MTCUBE的OLAP 查询
• 6.8 实验分析
• 6.9 本章小结
• 第七章 总结与展望
• 7.1 总结
• 7.2 研究展望
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文和参加的研究工作