不确定数据流聚类算法的研究与实现

论文摘要

传统的确定数据流管理系统及技术在近几年中得到了长足的发展并形成了成熟的研究领域。然而,随着信息产业各领域的不断发展和近似测量数据的硬件被大量应用,使得对不确定数据的研究形成了相应的领域并取得了相应的成果。在实际应用中,由于测量的不准确性,数据传输中引入的噪音以及数据源本身具有的不确定性,使得流数据的不确定性广泛存在并成为流数据的一个固有性质。因此对不确定性数据流的管理技术及其处理技术越来越被关注和重视。随着数据挖掘技术的广泛运用,近年来对不确定数据的挖掘做了大量的工作及相关研究。数据挖掘中的一个重要研究课题是聚类,对不确定数据流聚类算法的研究有重要的意义。在聚类过程中,描述对象间的相似程度以及簇间的相异程度通常是用距离来衡量的,因此描述不确定对象间的距离对于不确定对象的聚类算法的研究起着至关重要的作用。本文通过分析给出了计算不确定对象间距离的改进方法：摘要估计方法(ASM),该方法在计算不确定对象间距离时考虑了不确定对象的分布情况,将偏差纳入了计算过程,进而提高计算结果的准确度。然后提出了计算不确定对象与集合间距离的改进方法：平均组合距离(MPD)。与传统方法不同的是,MPD方法考虑了簇内所有元素对结果的影响,并将不确定对象与簇内所有元素距离的平均值作为不确定对象与集合间的距离。之后,提出了聚类过程中描述簇统计信息的向量：簇信息向量,该向量记录簇内所有元素的平方和等相关信息。最后,提出了一种不确定数据流聚类算法UKluStream,并通过实验验证了算法的有效性。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景与意义
• 1.1.1 不确定数据的产生原因
• 1.1.2 不确定数据应用
• 1.2 国内外研究现状
• 1.2.1 不确定数据模型
• 1.2.2 不确定数据查询技术
• 1.3 不确定性数据管理面临的挑战
• 1.4 论文的组织结构
• 第2章 不确定性数据流聚类相关技术研究
• 2.1 数据挖掘概述
• 2.1.1 数据挖掘的功能
• 2.1.2 数据挖掘的应用
• 2.2 传统数据聚类算法
• 2.2.1 聚类方法
• 2.2.2 聚类分析概述
• 2.3 数据流聚类
• 2.3.1 流数据及其聚类特征
• 2.3.2 流数据概要描述技术
• 2.3.3 数据流聚类相关算法
• 2.4 不确定数据流的聚类
• 2.5 聚类算法的要求
• 2.6 本章小结
• 第3章 不确定数据距离处理技术
• 3.1 距离的相关概念及定义
• 3.1.1 对象的描述
• 3.1.2 距离度量
• 3.1.3 不确定域
• 3.2 确定对象距离计算
• 3.3 不确定对象距离的计算
• 3.3.1 点与点的距离
• 3.3.2 点与集合的距离
• 3.3.3 集合到集合的距离
• 3.4 本章小结
• 第4章 不确定数据流的聚类算法
• 4.1 相关概念及定义
• 4.1.1 滑动窗口概念
• 4.1.2 基于紧凑度的相关定义
• 4.2 算法描述
• 4.2.1 点加入簇
• 4.2.2 簇的合并
• 4.2.3 簇的拆分
• 4.2.4 簇的删除
• 4.3 算法实现
• 4.3.1 初始化算法
• 4.3.2 执行部分算法
• 4.4 本章小结
• 第5章 实验结果分析
• 5.1 测试环境及测试数据集
• 5.1.1 实验环境
• 5.1.2 测试数据集
• 5.2 实验结果及对比
• 5.2.1 算法评价标准
• 5.2.2 初始化算法
• 5.2.3 执行过程测试
• 5.3 本章小结
• 第6章 结论与展望
• 参考文献
• 致谢
• 攻读硕士期间发表的论文及参加的项目