基于网络数据流的持续查询模型的研究

论文摘要

在INTERNET上的网络数据流的处理是一个逐渐增加的重要的应用。然而，实时和非静态存储的特性使得网络数据流的查询和处理成为当今数据管理的一个挑战。人们已经使用了很多种方法来应对这种需求。然而，绝大多数现有的数据库管理系统限制了对数据流的处理性能，且没有有效的研究数据流特性。因为传统的数据库查询针对的是存储的数据集，数据更新较少或相对不频繁，因此，对于大量快速到达的，且不断变化的数据，它的处理各种需求的能力必然是受限的。现有的多数数据库管理系统只能用作为面向数据流的应用提供离线存储支持。本文中，我们描述了一个基于网络数据流的自适应持续查询模型的构造和部分实现。考虑到网络数据流的波动性，我们把持续查询的自适应性作为设计的要点，并基于此需求引入了eddy模型。它是一种细粒度的数据流操作符，可放置于其他查询操作符之间进行协同，并提供元组级的路由性能。对应这种细粒度，我们对相关的查询操作符进行重新组织，以期获得与eddy一致的协同性以及更优的性能，典型的是分别针对选择和连接操作的群集过滤器和SteMs。同时，也对元组结构进行改进，增加了类似网络数据包头的元组头结构，以增强其路由能力。最后本文提出了数据流持续查询的一个模型。本文第一章是引言。第二章详细介绍了eddy的基本组成，并对其工作原理也进行了分析，阐述了它在操作符重排序上的优点，同时介绍了它的连接算法和对元组的路由方法。在第三章中，我们基于eddy对一些查询操作符进行优化。在第四章中，我们提出了系统的总体模型。第五章中我们对包装器程序及系统后端程序进行了设计。在第六章中对于本文的工作给出结论。

论文目录

• 摘要
• ABSTRACT
• 目录
• 第一章 绪论
• 1.1 研究背景
• 1.2 课题来源
• 1.3 国内外研究现状
• 1.4 本文的主要内容及创新点
• 1.5 本文的结构
• 第二章 EDDY模型的介绍
• 2.1 eddy模型概览
• 2.1.1 实现重排序的前提
• 2.1.1.1 同步栅栏
• 2.1.1.2 对称时间点
• 2.1.2 eddy模型与元组处理流程
• 2.2 在eddy中路由元组
• 2.3 eddy中的连接算法
• 2.3.1 ripple连接算法
• 2.3.2 ripple连接的迭代形式
• 第三章 查询操作符的改进
• 3.1 元组的生命周期
• 3.2 对操作符特性的增强
• 3.2.1 不带连接操作的单一查询
• 3.2.2 不带连接操作的多路查询
• 3.2.2.1 添加一个查询
• 3.2.2.2 在多路查询的情况下选路
• 3.2.2.3 输出元组
• 3.2.2.4 谓词索引与群集过滤器
• 3.2.3 带连接操作的多路查询
• 3.2.3.1 双通道连接
• 3.2.3.2 优化后的SteMs
• 第四章 系统总体设计
• 4.1 PostgreSQL介绍
• 4.2 系统模型结构
• 4.3 系统使用的主要类概述
• 第五章 系统的实现
• 5.1 包装器仓库的实现
• 5.2 eddy的实现及其互操作
• 5.2.1 前后端之间的交互处理流程
• 5.2.2 后端模块功能的实现
• 5.2.2.1 eddy的初始化
• 5.2.2.2 核心处理程序
• 第六章 结论
• 致 谢
• 参考文献
• 个 人 简 历