基于反馈机制的流数据查询

论文摘要

流数据查询是流数据处理中一个非常重要的研究领域，由于流数据到来的快速性和大量性等特点，必须及时地对流数据进行处理，流数据的输入速率突然剧增会使查询系统发生过载，将严重影响查询系统的响应速度和查询质量，查询系统有效的过载控制已成为一个研究的热点；同时查询处理产生的结果数据流往往有很重要的参考价值，这样就产生了流数据查询中对已产生的结果流再利用的问题。如何充分利用已得到查询结果流也成为当前研究的一个重要课题。目前查询系统的过载控制仍未达到理想效果，对查询结果流的利用也很少。因此本文构建了基于反馈机制的流数据查询模型，并对该模型中的过载控制、查询处理和反馈生成等问题进行了深入的研究，主要工作和创新成果体现在以下几个方面。首先，构造了基于反馈机制的流数据查询模型，通过对连续查询的结果流进行反馈树分类从而发现输出结果流的主要特征，并以此来对输入数据流进行评估，指导流数据处理系统中过载控制的丢弃元组操作，最大可能的提高输出结果的准确度，在查询时以反馈参数为指导还可以加快查询速度。其次，在对Aurora系统过载卸载的分析基础上，提出了改进的完备负载卸载路径映射的重构方法和自适应的负载卸载路径映射的重构方法，从理论上的有效性进行了分析，并对其算法进行了设计。再次，设计了基于时间粒度的多层次滑动窗口的划分和动态维护方案和部分算法，使的流数据查询可以在多个不同的层次进行，能进一步提高查询的准确度。最后，采用了反馈树的方法生成反馈度参数，并对带有反馈度参数的反馈树的生长和剪枝算法进行了设计。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 研究内容
• 1.3 本文组织结构
• 第二章 流数据查询的相关理论与技术
• 2.1 数据流
• 2.2 滑动窗口技术
• 2.3 AURORA系统
• 2.3.1 Aurora系统概述
• 2.3.2 Aurora系统的负载卸载
• 2.4 决策树分类算法
• 2.5 过载卸载技术概念
• 第三章 基于反馈机制的流数据查询模型的构建
• 3.1 基于反馈机制的数据流查询模型
• 3.2 过载控制
• 3.2.1 循环缓存数据流
• 3.2.2 过载卸载
• 3.3 基于时间粒度分层滑动窗口的查询处理概述
• 3.4 基于反馈树的反馈生成概述
• 3.5 小结
• 第四章 过载控制
• 4.1 过载卸载的基本模型结构
• 4.2 负载降载路径映射
• 4.2.1 LSRM的构造
• 4.2.2 LSRM的使用
• 4.3 改进的负载卸载
• 4.3.1 完备的LSRM的构建的负载卸载
• 4.3.2 自适应SLRM构建的负载卸载
• 4.4 结论与分析
• 第五章 基于时间粒度多层次滑动窗口的查询处理
• 5.1 滑动窗口管理
• 5.1.1 多层次滑动窗口的概念
• 5.1.2 多层次滑动窗口的动态维护
• 5.1.3 窗口维护的算法设计
• 5.2 查询处理
• 5.2.1 连续查询使用的基本数据结构
• 5.2.2 查询处理机制
• 5.2.3 连续查询的执行
• 5.3 结论与分析
• 第六章 反馈机制中的反馈树
• 6.1 反馈树的概念
• 6.2 反馈树的生长
• 6.2.1 反馈树生长机制
• 6.2.2 反馈树生长算法GTree的设计
• 6.3 反馈树的剪枝
• 6.3.1 反馈树剪枝机制
• 6.3.2 反馈树剪枝算法PTree的详细设计
• 6.4 结论与分析
• 第七章 结束语
• 7.1 总结
• 7.2 进一步的工作
• 参考文献
• 在研期间科研情况
• 致谢