数据流中适应性查询优化及调度策略的研究

数据流中适应性查询优化及调度策略的研究

论文摘要

近年来,随着信息处理技术应用领域的不断拓展,一种连续、无界、不定速度的流式数据(即数据流)已经出现在越来越多的应用领域当中,如:网络监控,网络流量管理,传感器的数据处理,股市信息分析等等。这种应用强调数据是无限的、瞬时的,而对这种应用的处理则强调实时性,同时需要特别考虑内存的限制。针对数据流的这些特征,传统的数据处理技术(如数据库技术)已不能满足其处理要求。目前,对数据流相关技术的研究已经成为数据库领域又一新的研究热点。数据流随时间延续而源源不断到达,即数据流是无限的,这一特性决定了数据流上的查询多为连续查询。在查询的生命期内,系统的执行环境不断地发生改变,如CPU的占用率、内存的使用情况等等;数据流本身的特性也在改变,如流速,选择率等。这些变化要求系统执行一个查询的查询处理策略也要不断地随之改变,才会获得较好的查询性能。本文针对数据流中的查询处理机制进行了深入的研究,对内存使用量和查询的实时性两方面进行综合考虑,提出了一种基于多因素的动态优化及调度策略MultiFactor。MultiFactor查询优化策略根据各个操作符消耗系统中元组数量的速度动态调整操作符的调度次序,通过操作符的选择度来考虑系统内存的使用;通过操作符的处理速度来考虑系统的响应时间。并且还考虑了数据流的另一个重要因素——变化的流速。根据MultiFactor优化策略得到了系统的查询计划之后,本文又对系统的调度策略进行了深入研究,提出了一种非等值时间片轮转的调度方法。根据查询的截止时间来确定各个操作符的调度时间片,以达到动态优化的目的。本文还设定了一个对各个参数进行统计并进行计算的时间限度τ,作为适应性查询优化的时机。在各个τ内对系统参数进行收集,利用第i个τ所收集到的参数数据为第i+1个τ进行计算。对于τ的取值采用的也是一种具有适应性的调整方法,根据数据流的实际情况动态的调整τ值的大小。最后,通过实验对系统中数据流上不断变化的各个参数(数据流的流速、操作符的选择度、操作符单位时间处理元组个数)进行了测试。并且将MultiFactor策略与传统的FIFO算法和Greedy算法在时间延迟和内存使用量两个方面进行了性能比较。从实验结果中可以看出,MultiFactor策略在这两个方面与其它算法相比都具有一定的优势。

论文目录

  • 内容摘要
  • ABSTRACT
  • 第一章 绪论
  • 1.1 数据流
  • 1.2 数据流管理系统
  • 1.3 数据流的应用需求
  • 1.4 数据流系统中的研究问题
  • 1.5 主要研究工作和内容安排
  • 第二章 数据流系统中的适应性查询处理机制
  • 2.1 数据流系统中的适应性查询处理机制
  • 2.1.1 数据流上的查询
  • 2.1.2 数据流上适应性查询优化的必要性
  • 2.1.3 适应性查询处理的一般方法
  • 2.2 著名原型系统的适应性研究
  • 2.2.1 STREAM 系统
  • 2.2.2 TelegraphCQ 系统
  • 2.2.3 Aurora 系统
  • 第三章 数据流上的查询优化策略
  • 3.1 数据流的查询处理模型
  • 3.2 查询优化策略中的相关参数
  • 3.3 MULTIFACTOR 查询优化策略
  • 3.4 连接
  • 3.4.1 窗口技术
  • 3.4.2 MultiFactor 的两流连接
  • 3.4.3 MultiFactor 的多流连接
  • 3.5 MULTIFACTOR 查询优化算法的实现
  • 第四章 数据流上的调度策略
  • 4.1 操作符调度的一般方法
  • 4.2 MULTIFACTOR 调度策略
  • 4.3 MULTIFACTOR 调度策略算法的实现
  • 4.4 适应性优化的时机
  • 第五章 实验测试与分析
  • 结束语
  • 参考文献
  • 致谢
  • 攻读学位期间发表论文以及参加科研情况
  • 相关论文文献

    标签:;  ;  ;  ;  

    数据流中适应性查询优化及调度策略的研究
    下载Doc文档

    猜你喜欢