数据流连续查询处理技术的研究

论文摘要

随着网络的发展,通讯设备的普及,一种新的数据密集型应用逐渐浮出水面。这主要包括:金融分析、网络监控、通讯数据管理、传感器网络数据处理等。在这些应用中数据是多维的、连续的、快速的、随时间变化的。同时,这些应用除了传统的即席查询,更可能需要连续查询。传统的数据库技术,由于其对数据的假设和相应的查询处理技术已经无法适应这些应用的要求,因此针对这种新型数据处理要求的数据流查询处理技术已成为目前数据库研究的热点之一。本文主要针对数据流上查询处理技术及相应的查询处理系统等方面进行研究。根据数据流的特性,设计了一种新的数据模型,比较了国外各原型系统的查询语言,以SQL为基础,设计了一种数据流管理系统中面向多应用的数据流查询语言SKQL;研究了数据流历史数据的查询处理问题,提出了一种新的数据流历史数据的存储管理及聚集查询处理方法,并对算法进行了实验分析与讨论;从选择率和执行时间的角度出发,考虑内存使用量和输出延迟适应性因素,提出了一种适应性的查询处理策略;最后设计并实现了通用的数据流管理系统SCOD,给出了系统的体系结构和各主要模块的功能介绍,并且给出了其关键数据结构和主要算法。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 国内外的研究现状
• 1.3 本文主要研究内容及创新
• 1.4 本文的组织
• 第二章 面向多应用的数据流查询语言
• 2.1 DBMS 与DSMS 的区别
• 2.2 数据流模型
• 2.2.1 数据流模式
• 2.2.2 连续查询语义
• 2.2.3 窗口的语义
• 2.3 连续查询语言分类
• 2.3.1 基于关系的语言
• 2.3.2 基于对象的语言
• 2.3.3 基于过程的语言
• 2.4 面向多应用的数据流查询语言SKQL
• 2.4.1 研究背景
• 2.4.2 连续查询语言SKQL
• 2.4.3 语言的模式定义
• 2.4.4 语言的查询定义
• 2.4.5 查询语言SKQL 应用举例
• 2.5 小结
• 第三章 数据流历史数据的查询处理
• 3.1 研究背景
• 3.2 近似查询处理技术
• 3.2.1 直方图技术
• 3.2.2 抽样方法
• 3.2.3 小波技术
• 3.3 数据流历史数据的抽样存储方法
• 3.3.1 初始抽样方法
• 3.3.2 多层递阶抽样方法
• 3.4 支持历史数据聚集操作的H-T 结构
• 3.4.1 H-T 的定义
• 3.4.2 H-T 与初始抽样
• 3.4.3 H-T 与多层递阶抽样
• 3.5 历史数据的聚集查询算法
• 3.5.1 简单聚集查询算法
• 3.5.2 复杂聚集查询算法
• 3.6 实验结果
• 3.6.1 实验系统和实验内容
• 3.6.2 历史数据的简单聚集查询
• 3.6.3 历史数据的复杂聚集查询
• 3.6.4 实验总结
• 3.7 小结
• 第四章 数据流中一种适应性查询处理策略
• 4.1 研究背景
• 4.2 运算符调度策略分析
• 4.3 适应性查询处理策略
• 4.4 策略的实现
• 4.4.1 动态整理统计信息
• 4.4.2 查询计划的动态优化
• 4.4.3 Adapt 适应性操作符调度策略
• 4.5 性能测试
• 4.6 小结
• 第五章 数据流查询处理系统SCOD
• 5.1 DSMS 的特点
• 5.2 SCOD 系统的体系结构
• 5.3 SCOD 系统模块的功能
• 5.3.1 用户接口
• 5.3.2 查询处理器
• 5.3.3 存储区
• 5.4 SCOD 系统中的查询处理实体
• 5.5 SCOD 系统的部分模块实现
• 5.5.1 语法树结点
• 5.5.2 算子
• 5.5.3 队列
• 5.5.4 内存分配类
• 5.5.5 查询计划相关类
• 5.6 小结
• 第六章 总结与展望
• 6.1 总结
• 6.2 展望
• 参考文献
• 致谢
• 在学期间的研究成果及发表的学术论文