多数据流处理的关键技术研究

论文摘要

随着信息技术的迅速发展,滋生了大量的数据流,数据流处理技术的研究成为了数据挖掘领域的热点问题。数据流具有动态易变性、数据的无限性和连续出现等特征。在多数据流的应用环境中,各数据流之间存在某种程度的偶合关系,发现数据流之间的偶合关系具有重要意义。本文围绕多数据流的偶合特征、压缩存储以及预测等关键技术,进行了深入研究。主要成果包括:(1)引入了全序概念对数据流进行形式化描述,证明了数据流在时间语义约束下服从全序关系。(2)提出了挖掘数据流之间的同步偶合模式和异步偶合模式的抗噪声算法,主要要点是:合理地度量了数据流间的局域偶合度,给出流数据间的同步局域偶合度和异步局域偶合度的数学定义;探索了Haar小波技术消除数据流中噪声的方法;证明了流序列的局域中心距定理、偶合等价定理、距离等价定理、偶合度距离化定理和强偶合判定定理,并导出了相关推论,为直接从经Haar小波压缩的流信息中发现偶合规律提供了理论依据,保证了用小波系数度量数据流偶合度的合理性,避免了重构数据流原始信息的时间开销。在嵌套环形滑动窗口的数据结构上,设计了挖掘数据流偶合规则的增量式的抗噪声算法。在真实数据集上对算法进行模拟实验,表明抗噪声增量式算法的正确性和有效性,提高了效率200～300%。相关成果发表在LNCS3818和软件学报,被SCI引用。(3)提出了使用极大团的方法挖掘数据流序列的近似频繁偶合集的算法。主要研究成果包括:定义了数据流的二元偶合关系、k元偶合关系、数据流的偶合频度以及极大频繁偶合集等一系列相关概念,证明了k元偶合成立的必要

论文目录

• 摘要
• ABSTRACT
• 1. 引言
• 1.1 研究背景和意义
• 1.2 数据流研究的主要内容
• 1.3 数据流的研究现状
• 1.4 本文研究内容及组织
• 2. 基本概念及预备知识
• 2.1 数据流的概念及性质
• 2.2 小波技术的主要思想
• 2.3 小结
• 3. 基于小波的数据流偶合模式挖掘算法
• 3.1 挖掘偶合模式的意义
• 3.2 数据流偶合的类型与度量
• 3.3 局域偶合的等价度量模型
• 4. 基于极大团的频繁偶合集的挖掘算法
• 4.1 问题背景
• 4.2 概念及性质
• 4.3 邻接矩阵求二元频繁偶合集
• 4.4 挖掘极大频繁偶合集的团划分算法
• 4.5 基于近似频繁偶合集的偶合数据流的挖掘算法
• 4.6 实验及性能分析
• 4.7 小结
• 5. 基于小波和偶合特征的多数据流的压缩算法
• 5.1 问题背景及意义
• 5.2 本章的主要工作
• 5.3 多数据流的压缩存储
• 5.4 能量分解压缩算法
• 5.5 基于窗口的能量分解压缩算法
• 5.6 实验结果及分析
• 5.7 小结
• 6. 基于小波和数据流能量变化的预测算法
• 6.1 问题背景及意义
• 6.2 本章的主要工作
• 6.3 数据流的预测模型及算法
• 6.4 偶合多数据流的预测算法
• 6.5 实验及性能分析
• 6.6 小结
• 7. 结论
• 7.1 主要研究成果
• 7.2 研究前景展望
• 参考文献
• 攻读博士学位期间发表的论文及科研成果
• 致谢