数据流QoS自适应框架聚集查询卸载策略的研究

论文摘要

数据流自然地出现于很多监控应用中,如网络和金融服务,而这些数据流应用限制了标准关系数据库技术的适用性。许多数据流源在量上是倾向于爆发性的,而CPU处理能力不足和内存有限等瓶颈,一个过载的系统将不能处理它所有的输入数据,而且不能跟上数据的到达速率,从而使服务质量(QoS)降低。因此,使系统能自动地适应于超过系统能力的输入数据速率高峰,使之能连续地提供当前查询的响应,卸载技术显得尤为重要。数据流管理系统中的查询处理需要满足各种服务质量要求,其中延迟是用户非常关注的QoS参数。本文研究的基础数据流管理的服务质量自适应框架,它综合考虑了CPU和内存的限制,保证CPU负载的平稳和CPU处理能力被充分利用。本文研究了在数据流QoS自适应框架中,数据流聚集查询的卸载算法问题。在CPU处理能力不足内存超载情况下,在聚集查询操作中对负载进行卸载,并能满足一定的服务质量。对于一个或多个聚集查询存在的情况下,将原有的框架从得到近似结果进一步拓展为可以得到精确结果子集的系统框架。在保留原有清洗器,调度器以及卸载器功能的前提下,进一步改善卸载器的功能,并加入新的如窗口分配器、聚集操作器两个新的功能模块,以确保满足结果是正确结果的子集。本文使用新的卸载算法与原框架相结合,保证系统在执行聚集查询操作时能在动态环境中具有良好的自适应性。实验结果表明,该方法在CPU利用率及结果错失率性能方面优于其它方法。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 数据流简介
• 1.2 数据流查询相关技术
• 1.2.1 滑动窗口
• 1.2.2 数据流卸载
• 1.2.3 近似查询结果
• 1.3 数据流阻塞操作
• 1.4 数据流的应用方向
• 1.5 本文组织
• 第二章 相关工作
• 2.1 数据流原型系统概况
• 2.1.1 原型系统简介
• 2.2 聚集查询卸载技术的研究
• 2.2.1 插入卸载操作符的卸载技术
• 2.2.2 Window-aware卸载技术
• 2.3 本章小结
• 第三章 聚集查询卸载框架
• 3.1 总体框架结构及各个组件功能
• 3.1.1 窗口分配器
• 3.1.2 卸载器
• 3.1.3 聚集查询操作器
• 3.1.4 清洗器
• 3.1.5 调度器
• 3.1.6 控制器
• 3.2 相关定义及QoS指标选择
• 3.3 本章小结
• 第四章 卸载控制的设计
• 4.1 窗口分配器
• 4.2 卸载器
• 4.2.1 三种卸载策略的分析
• 4.2.2 卸载规则
• 4.2.3 算法
• 4.3 聚集查询操作器
• 4.3.1 聚集操作规则
• 4.3.2 算法
• 4.4 本章小结
• 第五章 实验测试与分析
• 5.1 测试平台及测试集
• 5.1.1 测试平台
• 5.1.2 测试数据集
• 5.2 部分模块功能与实现
• 5.3 实验结果与分析
• 5.3.1 数据处理时间估计误差的影响
• 5.3.2 合成数据集上的比较
• 5.3.3 真实数据集上的比较
• 5.4 本章小结
• 第六章 结束语
• 参考文献
• 致谢
• 攻读硕士期间发表的论文