一种保持语义的数据立方体技术研究与应用

论文摘要

如何迅速从海量数据中获得准确的决策信息在现代企业日常决策活动中起着至关重要的作用,作为解决这个问题关键的OLAP技术中最核心的概念,数据立方体的实现已经引起了广泛的关注。经过这些年的研究与发展,已经出现了很多不同的数据立方体实现技术。研究发现,数据立方体中存在着很多冗余信息,去除这些冗余信息不仅可以节约存储空间,而且有利于立方体的快速建立与更新。有鉴于此,出现了很多从不同角度去除冗余的压缩算法,但是这其中很多算法在立方体构建过程中导致了立方体结构的混乱、语义模糊,增加了计算的复杂性。本文在侏儒立方体研究的基础上,对能够保持语义的立方体进行了研究,提出了一种新的立方体结构,这种结构改变了侏儒立方体对聚集数据的存储方式,能够在保持基本立方体上卷、下钻语义的前提下,尽量的去除前缀冗余、后缀冗余,节约存储空间,保证立方体清晰的格结构,并且拥有比侏儒立方体更高的存储效率和查询响应速度。对点查询和范围查询能够快速的返回结果。对大数据量情况下的稀疏立方体具有良好的支持。本文提出了新数据立方体结构的构建算法、查询算法和增量更新算法,对其相应的冰山立方体形式也进行了研究。在此基础上,设计了天津市建委12319热线分析系统。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景和意义
• 1.2 研究现状与思路
• 1.3 论文结构
• 第二章 立方体实现技术研究
• 2.1 数据立方体基本概念
• 2.1.1 数据立方体的定义
• 2.1.2 数据立方体中的基本操作
• 2.1.3 数据立方体实现的难点
• 2.2 数据立方体实现技术研究现状
• 2.2.1 立方体物化策略与主要技术路线
• 2.2.2 基于多维数据结构与图形数据结构的立方体实现方法
• 2.2.3 基于关系型数据结构的立方体实现方法
• 2.2.4 近似计算的立方体实现方法与冰山立方体
• 2.2.5 立方体实现过程中的通用优化策略
• 2.3 语义立方体技术
• 2.3.1 立方体语义与语义立方体
• 2.3.2 商立方体
• 2.3.3 侏儒立方体
• 2.4 小结
• 第三章 改进的侏儒立方体技术研究
• 3.1 立方体中的冗余
• 3.2 侏儒立方体改进动机
• 3.3 改进的侏儒立方体结构
• 3.3.1 立方体结构说明
• 3.3.2 新的立方体结构具有的优点
• 3.4 改进的侏儒立方体生成算法
• 3.4.1 立方体生成算法
• 3.4.2 后缀合并算法
• 3.5 小结
• 第四章 立方体的查询与更新算法研究
• 4.1 改进立方体的查询响应
• 4.2 立方体更新
• 4.2.1 立方体更新策略
• 4.2.2 立方体更新模型与算法
• 4.3 立方体的冰山形式实现
• 4.4 小结
• 第五章 基于改进立方体的数据分析模型
• 5.1 改进数据立方体的物理存储实现
• 5.1.1 物理存储的设计
• 5.1.2 物理存储的聚簇优化
• 5.2 立方体应用与数据分析系统的设计
• 5.2.1 项目来源与需求
• 5.2.2 系统结构
• 5.2.3 系统详细设计及结果报表
• 5.3 小结
• 第六章 总结与展望
• 参考文献
• 发表论文和参加科研情况说明
• 致谢