基于网格和密度的数据流聚类方法研究

论文摘要

随着硬件技术的不断发展，人们遇到了大量无法利用数据库进行存储的海量数据。这些数据数量非常巨大，并且产生速度很快。为了对这些数据进行有效处理，人们提出了数据流数据模型。作为数据挖掘在新环境的延伸，面向数据流的数据挖掘(简称数据流挖掘)问题已成为当前国内外研究的焦点，而数据流聚类方法则是数据流挖掘的一个重要研究方向。 本文的研究目标是以研究传统聚类方法为基础，通过对传统方法的改进，实现对数据流的聚类处理。通过研究，发现基于网格和密度的聚类方法具有很多适用于处理数据流的特征，有利于实现对数据流的聚类处理。因此，本文在对基于网格和密度的传统聚类方法进行研究与改进的基础上，从聚类过程所处理数据集合的动态性角度出发，将基于网格和密度的数据流聚类方法分类为静态方法和动态方法，对其进行了一系列研究。 围绕着数据流聚类问题，论文主要做了以下四方面的理论研究及应用工作： 1．对基于网格和密度的数据流静态聚类方法进行了讨论，通过对传统的基于网格和密度的聚类方法进行分析与改进，提出了一种新的网格单元密度计算方法。研究发现，已有方法基本使用数据点计数方式计算网格单元的密度。这种方法会造成数据点对其周围空间影响信息(influence)的部分丢失，容易导致同属一类的相邻数据点被分配到不同的数据类中。针对此问题，提出了“贡献度”概念。“贡献度”即是指在网格化的特征空间中，数据点对相邻网格单元(即数据点的周围空间)的影响程度。在此基础上，提出了一种新的网格单元密度计算方法。实验结果证明，与利用数据对象个数计算网格单元密度的方法相比，这种方法能够有效减少数据点对周围空间影响信息的丢失。 2．针对已有的基于网格和密度的聚类方法在稠密单元判定方式以及聚类生成过程方面的不足进行了改进，最终提出了一种新的基于网格和密度的微粒群混合聚类方法。现有方法基本使用单一阈值来判定稠密网格单元。这种方法限制了对聚类数据与噪音数据进行区分的能力。同时，已有方法都将首个遇到的稠密单元作为聚类生成过程的起始点。这种操作对生成的数据类缺乏选择性，使数据类的生成顺序具有不确定性，进而影响对结果的可控性。针对这些问题，使用了新的参数—“核心单元密度下限”。此参数限定了聚类中密度极大值的最小允许取值，对能够生成的聚类进行了限制，增强了区分聚类数据和噪音数据的能力。同时，通过将微粒群算法引入聚类过程，使得数据类能够根据本身的密度极大值有序生成，解决了聚类生成顺序的不确定性问题。最终，提出了基于网格和密度的微粒群混合聚类方法(CGDP)。 3．讨论了动态的网格空间环境下对聚类进行追踪的方法，提出了动态环境下改进的自适应微粒群算法。通过将网格单元密度转化评估函数取值的方式，把对聚类密度极

论文目录

• 摘要
• Abstract
• 目录
• 1 引言
• 1.1 论文选题的背景及意义
• 1.2 数据流的特征分析
• 1.3 数据流聚类方法的要求
• 1.3.1 数据流聚类的含义
• 1.3.2 对数据流聚类算法的要求
• 1.4 相关研究进展
• 1.4.1 微粒群算法
• 1.4.2 传统聚类方法
• 1.4.3 数据流聚类方法
• 1.5 论文的研究内容和研究思路
• 1.5.1 论文的研究内容
• 1.5.2 论文的研究思路
• 1.6 论文内容安排
• 2 面向数据流的静态聚类方法研究
• 2.1 基于网格和密度的聚类方法存在的问题
• 2.2 问题分析及解决方法
• 2.2.1 网格单元密度的计算方法
• 2.2.2 聚类生成过程
• 2.3 基于网格和密度的微粒群混合聚类算法
• 2.3.1 方法描述
• 2.3.2 实验验证
• 2.4 改进的CGDP方法用于数据流聚类
• 2.5 本章小结
• 3 动态环境下聚类追踪方法研究
• 3.1 已有方法及存在的问题
• 3.1.1 环境变化检测方法
• 3.1.2 算法响应策略
• 3.2 改进的自适应微粒群算法
• 3.2.1 算法描述
• 3.2.2 实验设置
• 3.2.3 实验结果及分析
• 3.2.4 进一步的改进
• 3.3 本章小结
• 4 面向数据流的动态聚类方法研究
• 4.1 具体数据流环境应用需求分析
• 4.2 数据流中孤立点识别方法
• 4.3 实验验证
• 4.3.1 实验设置
• 4.3.2 实验结果
• 4.4 本章小结
• 5 总结与展望
• 5.1 全文总结
• 5.2 进一步的研究展望
• 参考文献
• 附录A 论文相关实现代码
• 攻读博士学位期间发表的学术论文
• 攻读博士学位期间参加的项目
• 创新点摘要
• 致谢