基于滑动窗口的数据流预测聚集查询处理的研究

论文摘要

近年来,随着金融、传感器网络、股票分析、气象监测等领域的不断发展,一种流动的无限的数据引起了数据库界的广泛关注,从而使数据流管理技术成为当前的研究热点。根据数据流的特点及应用对数据流相关技术进行研究不仅拓宽了数据库研究的领域,而且还有重要的学术价值和应用前景。本文对数据流预测聚集查询中的若干关键技术进行了深入的探索和研究。首先,本文简单介绍了数据流的特点、应用以及研究背景和现状；分析了直方图、随机采样等数据流约简技术；对回归模型、指数平滑模型等数据流预测技术进行了阐述；对比分析了数据流管理系统与传统数据库,并对典型数据流原型系统进行了介绍。然后,通过对数据流特点与应用的研究,进而在比较现有各种数据流预测模型的基础之上,一种大量用于语音识别领域的隐马尔可夫模型被引入,设计了一种其于滑动窗口的新预测模型——马尔可夫滑动窗口预测模型。在该模型中提出了一种叫聚集特征压缩直方图的改进的数据流约简技术,并在此基础上得到了一种优化的聚集查询操作。接着,针对传统的数据流预测建模方法如曲线拟合、线性回归分析等只能适应多项式函数,对非线性函数的无效性等问题,基于本文的预测模型设计了相应的处理方法。针对网络流量预测聚集查询处理这一实例,来介绍参数初始化、模型训练、模型评估等数据流预测聚集查询的处理过程。最后,基于上述的预测模型和处理方法,在当前著名开源数据流处理引擎Borealis的基础上,实现了数据流预测聚集查询功能。采用网络流量库中的数据进行实验,通过对多组实验结果对比分析,理论和实验表明,与现有数据流预测聚集查询处理方法相比,上述预测在预测精度和预测效率上都有很大优势。因此,本文的处理方法是对现有数据流预测聚集查询处理技术的有效改进和拓展。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 数据流模型
• 1.1.1 数据流特点
• 1.1.2 基于数据流模型的典型应用
• 1.2 国内外研究现状
• 1.3 主要研究内容
• 1.4 论文组织结构
• 第二章 数据流研究综述
• 2.1 数据流约简技术
• 2.1.1 直方图
• 2.1.2 随机采样技术
• 2.1.3 小波技术
• 2.1.4 哈希方法
• 2.2 数据流预测技术
• 2.2.1 回归模型
• 2.2.2 指数平滑模型
• 2.2.3 ARMA模型
• 2.2.4 小波变换技术
• 2.2.5 神经网络算法
• 2.2.6 支持向量机算法
• 2.3 数据流管理系统
• 2.3.1 DSMS体系结构
• 2.3.2 DBMS与DSMS的比较
• 2.3.3 典型的原型系统
• 2.4 小结
• 第三章 马尔可夫滑动窗口预测模型
• 3.1 马尔可夫分析
• 3.1.1 马尔可夫过程
• 3.1.2 概率矩阵的数学基础
• 3.1.3 马尔可夫链
• 3.2 概要结构生成及维护
• 3.2.1 滑动窗口模型
• 3.2.2 聚集特征压缩直方图
• 3.3 预测聚集查询模型
• 3.3.1 优化的聚集查询操作
• 3.3.2 隐马尔可夫模型定义
• 3.4 预测模型的三类问题
• 3.4.1 估值问题
• 3.4.2 解码问题
• 3.4.3 学习问题
• 3.5 小结
• 第四章 预测聚集查询处理
• 4.1 预测建模
• 4.1.1 网络流量简介
• 4.1.2 网络流量生成
• 4.1.3 模型参数构建
• 4.2 预测处理
• 4.2.1 参数初始化
• 4.2.2 训练模型
• 4.2.3 模型评估
• 4.3 小结
• 第五章 实验及结果
• 5.1 实验环境及数据预处理
• 5.1.1 实验环境
• 5.1.2 数据预处理
• 5.2 实验处理及结果分析
• 5.2.1 模型构建与预测
• 5.2.2 结果及分析
• 5.3 小结
• 第六章 结论与展望
• 6.1 研究工作及成果总结
• 6.2 进一步研究方向
• 参考文献
• 致谢
• 攻读学位期间主要研究成果