分布式数据流查询处理的研究

论文摘要

近年来,随着网络的发展,通讯设备的普及,在现实世界的许多应用领域中出现了一种被称之为数据流的新的数据形式。在这些应用中,数据流是多维的、连续的、快速的、随时间变化的,同时,这些应用除了传统的即席查询,更可能需要连续查询。并且由于数据流多是从远程数据源发送而来,具有分布式的特性,因而分布式数据流查询处理的研究一直是数据流研究中的一个重要的组成部分。首先,分析分布式数据流系统及连续查询网络的特点,针对当输入数据流的流速过大时,出现的查询网络整体不过载,但其中的某几个节点过载从而影响查询处理的问题,给出了规划模型并在此基础上提出了一种可行的优化负载分配策略,并通过实验验证了该策略的有效性;其次,针对需要同时兼顾网络传输开销和查询处理开销的分布式数据流环境提出了一种优化查询调度策略,可以有效兼顾这两方面,得到最小的系统整体开销;再次,针对数据流查询处理系统中,查询计划的操作符采用顺序调度的缺陷问题进行了研究,通过对查询计划中的各个操作符进行分时调度解决了此问题,并给出采用贪心思想的GS算法;最后,设计并实现了通用数据流管理系统Qstream。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.3 本文主要工作
• 1.4 本文组织
• 第二章 分布式数据流处理的负载分配策略
• 2.1 引言
• 2.2 问题研究
• 2.3 负载分配策略
• 2.3.1 策略描述
• 2.3.2 元操作选择算法
• 2.3.4 优化负载分配策略
• 2.4 实验分析
• 2.5 小结
• 第三章 分布式数据流处理中的查询调度策略
• 3.1 引言
• 3.2 问题研究
• 3.3 调度策略
• 3.3.1 贪心策略
• 3.3.2 优化策略
• 3.4 小结
• 第四章 数据流处理中的操作符调度策略
• 4.1 引言
• 4.2 问题研究
• 4.3 操作符调度策略
• 4.4 实验分析
• 4.5 小结
• 第五章 Qstream 设计与实现
• 5.1 DSMS 和DBMS 的比较
• 5.2 数据流查询处理
• 5.2.1 数据流查询处理机制
• 5.2.2 数据流查询处理的特点
• 5.2.3 查询计划
• 5.3 Qstream 的体系结构
• 5.4 Qstream 查询处理的基础结构
• 5.4.1 元组相关结构
• 5.4.2 操作符模块
• 5.4.3 滑动窗口结构
• 5.4.4 其他数据结构
• 5.5 Qstream 的部分实现
• 5.5.1 语法树节点node
• 5.5.2 算子类
• 5.5.3 队列类
• 5.5.4 内存分配类
• 5.5.5 查询计划相关类
• 5.5.6 事务调度类
• 5.6 小结
• 第六章 总结与展望
• 6.1 总结
• 6.2 展望
• 参考文献
• 致谢
• 在学期间的研究成果及发表的学术论文