基于网格的聚类分析与可视化

论文摘要

数据可视化技术是在大型数据库的应用中提出的新的数据分析与处理技术,已成为数据挖掘领域研究的热点。利用可视化技术能够更清晰的观察数据集的分布结构,了解数据之间的相互关系,使用户加深对数据含义的理解,加快获取知识的速度。聚类分析作为数据可视化的基础,其目的是在无监督情况下帮助人们更好的理解和观察数据的自然分组或构造,识别数据的内在结构。本文以聚类分析为基础,对基于网格的聚类算法、聚类有效性指标以及聚类结果可视化三个方面,做了研究和分析。本文的主要贡献如下:(1)为了克服现有基于网格聚类算法参数敏感的缺点,提出了一种新的可以自动确定参数的基于网格的聚类算法。引入顶点比对思想到密集格的合并过程中,降低了传统的基于距离的合并方法的计算复杂度,并利用统计直方图和不同连接强度下网格的连接图形象化描述聚类结果。(2)基于网格算法对数据压缩的理论,提出了一种新的基于网格的OPTICS聚类算法,有效解决了OPTICS算法计算复杂度高、运算速度慢的问题。实验分析了算法处理各种数据集的有效性和鲁棒性。(3)提出了一种新的基于二阶差分的聚类有效性指标。应用类内离差的二阶差分代替经典聚类有效性指标Gap统计中零分布的参考数据集,改进了原来指标的实现方式,提高了指标的稳定性,并能够适应多种分布的数据集。并且,由于不需要确定合适的零分布参考集,从而节省了运行时间。(4)定义了一种新的基于网格算法的距离测度,来代替欧式距离(或其他距离)。利用新的距离测度计算两个聚类间的不相似性指标d(Ci,Cj),并以二阶差分为基础,改进了两个经典的聚类有效性指标,实验证明了新指标的有效性和稳定性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景与意义
• 1.2 国内外研究现状
• 1.2.1 聚类分析的研究现状
• 1.2.2 有效性指标的研究现状
• 1.2.3 数据可视化研究现状
• 1.3 本文主要内容和创新点
• 1.3.1 主要内容
• 1.3.2 主要创新点
• 第二章 聚类分析可视化与有效性指标
• 2.1 聚类分析概述
• 2.1.1 聚类分析简介
• 2.1.2 聚类算法分类
• 2.1.3 聚类算法的评价
• 2.2 聚类有效性指标
• 2.2.1 聚类有效性指标简述
• 2.2.2 聚类有效性指标的评判标准
• 2.2.3 有效性指标的分类
• 2.3 聚类分析可视化原理
• 2.3.1 数据可视化概念与特点
• 2.3.2 数据可视化技术分类
• 2.3.3 Weka 可视化数据挖掘平台
• 2.4 本章小结
• 第三章 一种新的基于网格的聚类算法
• 3.1 GGCA 算法描述
• 3.1.1 基于网格的聚类算法原理
• 3.1.2 算法流程
• 3.2 网格二分指标图
• 3.2.1 网格量化尺度对聚类结果的影响
• 3.2.2 网格二分指标确定流程
• 3.2.3 算法分析
• 3.2.4 实验结果分析
• 3.3 顶点比对合并单元格
• 3.3.1 网格连接条件对聚类的影响
• 3.3.2 顶点比对思想
• 3.3.3 合并单元格流程
• 3.3.4 算法分析
• 3.4 可视化结果显示
• 3.4.1 网格二分过程图
• 3.4.2 聚类结果的统计直方图
• 3.5 本章小结
• 第四章 基于网格的OPTICS 算法
• 4.1 OPTICS 算法背景介绍
• 4.2 基于网格的OPTICS 算法描述
• 4.2.1 算法原理分析
• 4.2.2 算法描述
• 4.3 网格算法对数据集进行压缩
• 4.4 对代表点进行排序
• 4.5 实验结果分析
• 4.6 本章小结
• 第五章 基于二阶差分的聚类有效性指标
• 5.1 Gap 统计基本原理
• 5.2 一种新的基于二阶差分的Gap 统计指标
• 5.2.1 新的Gap 统计指标描述
• 5.2.2 Gap 统计指标的局限性
• 5.2.3 实验结果分析
• 5.3 Davies-Bouldin 与Dunn 指标简介
• 5.3.1 Davies-Bouldin 指标简介
• 5.3.2 Dunn 指标简介
• 5.4 基于二阶差分的DB 与Dunn 指标
• 5.4.1 一种新的基于网格的距离测度
• 5.4.2 基于二阶差分的DB 和Dunn 指标
• 5.4.3 实验结果分析
• 5.5 本章小结
• 第六章 总结与展望
• 6.1 总结
• 6.2 展望
• 参考文献
• 发表论文和参加科研情况说明
• 致谢