并行数据处理中间件存储分配策略研究

论文摘要

并行数据处理是一种十分重要的计算机技术,该技术目前在很多领域发挥着重要作用。通过开发一个支持并行数据处理的中间件,将集群并行计算机各节点上分布的数据库连接起来,构成数据并行处理中间件系统,系统中各节点并行工作,可以以较小的代价获得接近并行数据库的性能。在SN结构的并行数据库中,数据被划分到多个处理节点上,查询由多个节点共同完成。在此应用环境中,划分方法的优劣对提高系统并行性,减少数据倾斜,提高系统性能具有重要作用。数据存储分配是查询处理并行化的基础,是并行数据处理技术研究的重要方向之一。本文通过对存储分配策略的研究,研究并提出最大程度适合本系统的数据存储分配策略,以提高系统性能。本文首先描述了数据并行处理中间件的系统结构和工作原理,以此为应用和研究环境,研究如何对关系进行分片,提出一种基于连结代价的划分属性选择算法,对Range和Hash划分方法进行改进,提出适合本系统的R-H划分算法,该算法比原有的Range和Hash方法更有利于实现数据均衡,避免初始数据倾斜的产生。针对系统长期运行后可能发生的数据倾斜,本文研究了中间件系统中数据重分布策略。研究在发生数据倾斜时,如何确定过载节点、过热关系以及热点数据块,并给出了热点数据块迁移的方法。经过实验测试,重分布方法可有效解决数据倾斜的问题。根据对实际应用环境中数据表特征的研究和分析,本文还对中间件系统中小表的放置、建立索引以及连结操作的问题进行了研究,提出了本系统中的解决办法,使得本文的研究具有较强的可应用性。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题研究背景及意义
• 1.2 国内外研究现状
• 1.2.1 并行数据处理技术
• 1.2.2 数据划分方法
• 1.2.3 数据倾斜和重分布
• 1.3 本文研究主要内容
• 1.4 论文的组织
• 第2章 中间件体系结构和系统模型
• 2.1 中间件的定义
• 2.2 中间件系统采用的系统结构
• 2.3 中间件体系结构
• 2.4 中间件系统中存储分配研究
• 2.4.1 中间件存储分配介绍
• 2.4.2 中间件存储分配技术
• 2.4.3 数据倾斜及数据重分布
• 2.5 本章小结
• 第3章 中间件中的存储分配策略
• 3.1 数据分片确定
• 3.2 划分属性选择
• 3.3 数据划分方法
• 3.3.1 Round-Robin方法
• 3.3.2 Range方法
• 3.3.3 Hash方法
• 3.3.4 Hybrid-Range方法
• 3.3.5 本课题采用的划分方法
• 3.4 索引存储策略
• 3.5 本章小结
• 第4章 数据重分布策略
• 4.1 数据重分布
• 4.2 数据倾斜确定策略
• 4.2.1 过载节点确定
• 4.2.2 热点关系确定
• 4.2.3 热点数据块确定
• 4.3 数据块迁移
• 4.4 连接操作数据重分布方法
• 4.5 数据关系的重组
• 4.6 本章小结
• 第5章 系统实现及实验
• 5.1 中间件系统结构
• 5.2 存储分配
• 5.3 数据重分布
• 5.4 实验
• 5.5 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文
• 致谢