海量数据压缩、操作和处理方法的研究

论文摘要

在信息技术高速发展的海量信息时代,海量数据管理技术已经成为社会信息化的迫切任务。如何有效地存储和管理海量数据并高效地支持海量数据上的查询,对数据库管理系统提出了严峻的挑战。海量数据库被广泛地应用于地震监测、天气预报、物理化学实验等实际应用中,如科学与统计数据库,其数据最大的特点是存在大量的数据冗余,即相同的数据在不同的地方多次重复出现。如果对这种类型的关系数据直接进行存储,不仅浪费大量的存储空间,而且降低了查询的效率。另外,这类数据的模式相对稳定,属性值域有限,新产生的数据只追加到当前数据末尾而不更新已有内容;并且在数据上的查询大多只与众多属性中的少数几个相关。数据压缩技术与数据库技术进行结合,对海量数据库的存储与查询进行处理,形成了压缩数据库技术。压缩数据库技术研究的内容主要包括数据压缩方法、数据操作算法和查询处理技术。本文提出了海量数据库中数据的压缩和存储方法、压缩数据上的数据操作算法和查询处理技术。本文提出的压缩算法采用列存储的思想,使用二进制编码、一元编码、K-of-N编码和叠加编码对数据进行压缩,将属性对应的编码数据按照编码位进行扩展游程编码存储。本文提出了压缩数据上无需解压缩的数据操作算法,包括选择操作和投影操作,将对原始数据的查询操作转化为对压缩数据编码位的操作,简化了查询的实现。利用上述思想设计并实现了一个海量数据压缩和查询原型系统。理论分析和初步实验表明,采用列存储思想对海量数据进行压缩和存储可以很好地提高存储空间利用率、降低查询代价和提高查询效率。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题背景
• 1.2 压缩数据库技术的研究现状
• 1.2.1 数据库中数据压缩方法的研究
• 1.2.2 压缩数据库中的数据操作算法
• 1.2.3 压缩数据库中查询处理技术
• 1.3 本文主要研究工作
• 1.4 本文主要章节安排
• 第2章 预备知识
• 2.1 二进制编码
• 2.2 一元编码
• 2.3 K-of-N编码
• 2.4 叠加编码
• 2.5 扩展游程编码
• 2.6 本章小结
• 第3章 海量数据压缩算法
• 3.1 集中式数据压缩算法
• 3.1.1 集中式压缩算法概述
• 3.1.2 集中式压缩算法的限制条件
• 3.1.3 集中式压缩算法
• 3.1.4 集中式解压缩算法
• 3.2 分布式数据压缩算法
• 3.2.1 属性级分布式压缩流程
• 3.2.2 关系级分布式压缩流程
• 3.3 本章小结
• 第4章 压缩数据上的数据操作
• 4.1 选择操作
• 4.1.1 一元编码数据上的操作
• 4.1.2 二进制编码数据上的操作
• 4.1.3 K-of-N编码数据上的操作
• 4.1.4 叠加编码数据上的操作
• 4.2 投影操作
• 4.3 本章小结
• 第5章 压缩数据上的查询处理
• 5.1 查询处理流程
• 5.1.1 查询语言定义
• 5.1.2 查询处理过程
• 5.2 查询优化策略
• 5.3 本章小结
• 第6章 海量数据压缩和查询原型系统
• 6.1 CQSS原型系统简介
• 6.2 实验
• 6.2.1 数据压缩实验
• 6.2.2 数据查询实验
• 6.3 本章小结
• 结论
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢