数据流挖掘算法研究

论文摘要

近年来,得益于数据采集技术的发展,许多应用中的数据是以流的形式产生的。分析和挖掘这类数据日益成为热点问题。相对于传统的静态数据库,数据流有以下特点:(1)数据量是潜在无界的;(2)数据有很快的到达率;(3)不允许反复扫描历史数据。数据流的特点决定了数据流挖掘必须满足如下基本要求:首先,算法需要及时处理高速到达的数据,因此,算法的计算复杂度要低;再者,有限的内存不可能存储无界的数据量,因此,算法需要保持较低的空间复杂度,维持一个基本的近似空间并在此得到问题的近似解;此外,由于数据流的动态性,算法必须动态调整自身参数以适应数据流的变化。传统的数据挖掘算法很难同时满足以上三个条件,需要对以往数据挖掘算法进行改进或者设计出适应数据流的挖掘算法。近年来,数据流挖掘的研究已取得很大进展,然而,这些新方法仍具有很大的局限性,能够处理数据流的种类也很有限。本文主要工作有如下两个方面:1.本文提出一种高维混合型数据流的可视化算法。在尽量保证数据之间区分度的前提下,算法动态调整参数,把数值型数据和分类型数据分别按照不同方法映射到颜色空间上,由此得到最近一段时间内的颜色矩阵从而作出混合型数据流的视图。2.本文提出基于衰减聚类核心的高维混合型数据流聚类算法。首先,定义聚类核心的概念,并在此基础上利用一种“打靶”的方法判断新数据所属的聚类。针对数值型数据维和分类型数据维,定义不同的聚类核心以及不同的“打靶“方法。算法中,每个参数以及数据结构都随时间而衰减,并根据相应的时间衰减因子进行动态调整。实验表明,该算法能够动态适应数据流的变化并取得良好的聚类效果。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 数据流挖掘背景
• 1.2 数据流挖掘研究现状
• 1.3 课题的研究意义
• 1.4 论文结构及内容介绍
• 第二章 数据流挖掘理论基础
• 2.1 数据分析相关理论
• 2.1.1 数据集类型
• 2.1.2 数据的邻近度
• 2.1.3 概率统计
• 2.1.4 数据可视化
• 2.2 基于数据的技术
• 2.2.1 抽样
• 2.2.2 减载
• 2.2.3 梗概
• 2.2.4 概要数据结构
• 2.2.5 聚合
• 2.2.6 多分辨率方法
• 2.3 基于任务的技术
• 2.3.1 近似算法
• 2.3.2 窗口模型
• 2.3.3 算法输出粒度
• 2.4 本章小结
• 第三章 数据流挖掘技术
• 3.1 数据流分类
• 3.2 数据流聚类
• 3.3 数据流频繁模式挖掘
• 3.4 数据流挖掘的应用
• 3.5 本章小结
• 第四章 数据流的可视化
• 4.1 静态数据的可视化
• 4.2 数据流的可视化
• 4.3 实验及性能分析
• 4.3.1 算法实现
• 4.3.2 性能分析
• 4.4 本章小结
• 第五章 基于衰减聚类核心的高维数据流聚类
• 5.1 基本概念
• 5.1.1 聚类核心
• 5.1.2 时间衰减因子
• 5.1.3 时变数据边界
• 5.2 高维数据流衰减核心聚类算法
• 5.2.1 基本算法
• 5.3 实验及性能分析
• 5.3.1 算法运行效率
• 5.3.2 聚类质量及敏感度分析
• 5.4 算法分析
• 5.5 本章小结
• 第六章 总结与展望
• 6.1 本文工作的总结
• 6.2 未来工作的展望
• 致谢
• 参考文献
• 作者攻硕期间取得的研究成果