概率流上复杂事件处理的研究

论文摘要

随着无线射频识别（Radio Frequent Identification, RFID）和传感器等电子数据采集设备（Electronic Data Gathering Equipment, EDGE）的广泛应用,产生了空前海量的事件类型数据,对这些事件数据进行复杂事件处理成为了非常重要的研究方向。复杂事件处理广泛地应用于商业检测与预测、供应链管理、气候环境监测与预报和医疗监护等很多领域。然而,当前的复杂事件处理方法大都是面向确定事件数据的,对于不确定事件数据形成的概率流却无能为力,并且这些方法都缺乏对复杂事件发生前的预知能力。针对这些问题,本文提出了一套概率流上复杂事件处理方案,它包括通过启发式搜索和过滤实现的概率流上复杂事件检测算法HSF-CED （Heuristic Search and Filter-Complex Event Detection）以及基于语义向量聚类和SVR建模的概率流上的事件预测算法SVC-SVREP （Semantic Vector Clustering-Support Vector Regression for Event Prediction）。本文的贡献点主要体现在：首先,针对不确定事件数据形成的概率流,建立一种概率流模型,该模型不仅能表达EDGE设备检测出的不确定事件,而且可以通过贝叶斯网络表达和推理出不确定事件的概率分布。在此过程中,提出了CP-Tree （Conditional Probabilistic Tree）结构来存储贝叶斯网络中的条件概率,CP-Tree相比于传统的条件概率表不但节省了存储的空间,而且减少了查询的时间。其次,提出了一种新的概率流上复杂事件检测算法HSF-CED,该算法基于一种链式队列结构启发式地搜索出满足查询请求的复杂事件,为了提高检测效率,放大概率阈值对复杂事件进行无损过滤,并通过适当地设定允许偏差实现复杂事件的有损过滤,在提高效率的同时,保证查询结果的查全率。再次,设计了一种语义向量结构,它表示大小为一个基本窗口的概率流片段的语义,通过语义向量不但可以表达流片段的语义,而且把结构不同的流片段转化为相同结构的语义向量,有利于建立预测模型。最后,提出了一种全新的概率流上基于语义向量聚类的事件预测算法SVC-SVREP,该算法通过对语义向量的聚类和SVR建模,可以预测出目标复杂事件在未来的一段时间之内发生的概率。此外,本文的复杂事件处理方案可以根据不同的需求设置不同的参数,从而返回不同的结果。通过实验表明,此套复杂事件处理方案在概率流上能高效地检测出复杂事件,并且能在保证较高的准确性的前提下,预测出目标复杂事件发生的概率。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 复杂事件处理的研究背景
• 1.2 复杂事件处理的研究现状
• 1.2.1 面向确定数据的复杂事件处理
• 1.2.2 面向不确定数据的复杂事件处理
• 1.3 本文的研究内容
• 1.4 本文结构
• 第2章 相关知识介绍
• 2.1 贝叶斯网络
• 2.1.1 贝叶斯网络的组成和特点
• 2.1.2 贝叶斯网络的应用
• 2.2 支持向量机
• 2.2.1 支持向量机算法的特点
• 2.2.2 支持向量机的原理
• 2.2.3 支持向量机回归
• 2.3 复杂事件检测技术
• 2.3.1 复杂事件的检测方法
• 2.3.2 复杂事件检测的基本模型
• 2.4 事件预测
• 2.5 本章小结
• 第3章 概率流上复杂事件检测算法研究
• 3.1 概率流模型
• 3.1.1 事件模型
• 3.1.2 CP-Tree结构
• 3.1.3 形成概率流
• 3.2 查询接口
• 3.3 启发式搜索的复杂事件检测算法
• 3.3.1 有序匹配模式的检测
• 3.3.2 含有无序匹配模式的检测
• 3.3.3 概要模式的检测
• 3.4 放大阈值过滤算法
• 3.5 HSF-CED复杂事件检测算法的流程
• 3.6 本章小结
• 第4章 概率流上事件预测算法研究
• 4.1 基于语义向量的预测
• 4.1.1 概率流上的语义向量
• 4.1.2 语义向量的构造
• 4.2 SVC-SVREP的训练集
• 4.2.1 语义向量生成训练样本
• 4.2.2 通过聚类生成新的训练样本
• 4.3 基于语义向量的预测和更新算法
• 4.3.1 SVC-SVREP的预测
• 4.3.2 SVC-SVREP的更新
• 4.4 SVC-SVREP的预测流程
• 4.5 本章小结
• 第5章 实验分析
• 5.1 实验设置
• 5.2 HSF-CED性能分析
• 5.3 SVC-SVREP性能分析
• 5.4 本章小结
• 第6章 结论
• 参考文献
• 致谢
• 攻读硕士期间参加的项目和发表的论文