基于维层次数据立方体存储技术的研究

论文摘要

数据立方体是数据仓库和联机分析处理的核心概念。为了加速响应联机分析处理系统中的复杂多维查询,通常需要预先计算并保存数据立方体,然而数据立方体的巨大尺寸却给其计算和存储带来诸多难题。因此,降低磁盘空间成本和提高查询性能成为数据立方体研究两个重要却又相互制约的目标。为了从根本上解决这些问题,需要探索有效的数据立方体组织方法。本文首先改进实现了计算维层次数据立方体的ICODH方法,该算法在给定的维顺序下,自底向上逐层递归计算;当具体到某一个维,是从维的粗粒度层到细粒度层方向循环计算聚集;通过共享排序来减少磁盘的读写操作,以减小维层次数据立方体的计算时间。另一方面研究了维层次编码技术,提出了一种对维表能有效进行层次编码的方法,保存了原有数据立方体的语义信息。通过这两方面来加快数据立方体的计算速度,提高其查询性能。浓缩数据立方是一种有效缩小数据立方尺寸的机制,但仍然存在大量的前缀冗余,如小方内的前缀冗余和小方间的前缀冗余。对此,本文扩展实现了一种基于维层次的数据立方组织结构IDHC,它结合基本单元组的浓缩和小方内的前缀共享技术,利用维层次的特点,将具有相同聚集维集(或单值维集)的立方元组聚簇,同一簇内的元组以共享前缀的形式组织来进一步减小立方体的压缩尺寸。同时在物理存储这些元组时为了减小因共享前缀而进行大量元组之间的比较,又提出了批处理生成元组的算法。该算法消除了仅包含单个聚集维的数据小方内元组间的比较,并以批处理模式计算IDHC。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题研究背景及意义
• 1.2 国内外研究现状
• 1.2.1 近似计算型立方体
• 1.2.2 特殊存储结构型立方体
• 1.2.3 实例化视图选择方式
• 1.2.4 语义压缩型立方体
• 1.3 课题主要研究内容
• 第二章 联机分析处理和数据立方体
• 2.1 联机分析处理
• 2.2 数据立方体基本概念
• 2.3 数据立方体的计算
• 2.4 数据立方体的查询操作
• 2.5 数据立方体的优化策略
• 2.6 小结
• 第三章 维层次数据立方体计算技术的研究
• 3.1 维的层次特性
• 3.2 改进的维层次立方体的计算方法
• 3.2.1 基于BUC算法的维层次计算方法
• 3.2.2 改进的维层次计算方法
• 3.3 维层次编码
• 3.4 小结
• 第四章 改进的维层次数据立方体
• 4.1 基本概念
• 4.2 IDHC数据立方
• 4.2.1 浓缩数据立方
• 4.2.2 Prefix数据立方
• 4.2.3 IDHC生成算法
• 4.3 实验分析
• 4.3.1 实验数据集
• 4.3.2 立方体压缩率
• 4.3.3 立方体计算时间
• 4.4 小结
• 第五章 总结与展望
• 5.1 本文工作总结
• 5.2 工作展望
• 参考文献
• 致谢
• 攻读学位期间主要的研究成果