高属性维稀疏数据动态抽象聚类方法研究

论文摘要

随着现代数据库和网络技术的迅速发展,人们必须面对大量的数据,为了从这些原始数据中发现隐含的,有价值的信息,我们需要高效的数据处理方法,数据挖掘正是为了迎合这种需要而产生并迅速发展起来的一种新的数据处理技术。聚类分析是数据挖掘的一个重要组成部分,随着数据挖掘得到越来越多的应用,聚类分析也得到了越来越多的关注,目前已有许多成熟的聚类算法,这些算法被广泛应用于各个相关领域中,如商业市场分析、生物工程研究、图形图像处理、模式识别、Web检索领域等等。 文中首先介绍了数据挖掘和聚类分析的一些相关理论以及国内外的研究现状,指出了聚类分析中急待解决的问题,然后分析了聚类方法中基于划分的、基于层次的、基于密度的、基于网格的和基于模型的方法,并对其中的一些典型算法进行了分析。本文主要是针对高维稀疏数据聚类中的异常值处理问题,目前这方面的研究还是比较少的,由于一般聚类方法很难处理高维稀疏数据中的异常值,所以对于高维稀疏数据聚类往往很难有高质量的聚类结果。针对这一问题文中首先提出了一种用二态属性值和最小生成树结合的动态聚类方法,该方法可根据阀值动态聚类,并能够在聚类时考虑对象属性的重要性,使聚类结果更加合理。由于自然界中的事物存在着各种关系,很多关系都是界限不明显的模糊关系,我们需要用模糊理论来描述,因此本文提出了另一种基于多元相似度和模糊相似矩阵的高

论文目录

• 第一章 绪论
• 1.1 引言
• 1.2 数据挖掘
• 1.2.1 什么是数据挖掘
• 1.2.2 数据挖掘的过程
• 1.2.3 数据挖掘研究的主要内容
• 1.2.4 数据挖掘中的聚类分析
• 1.3 数据聚类研究的意义
• 1.4 本课题研究的背景
• 1.5 本课题研究的内容与结构
• 1.5.1 研究内容
• 1.5.2 创新点与特色
• 1.5.3 本文的组织结构
• 第二章 聚类分析方法及待解决的问题
• 2.1 模式识别
• 2.1.1 模式识别的发展和应用
• 2.1.2 模式识别的分类
• 2.1.3 模式识别在聚类分析中的应用
• 2.2 机器学习
• 2.3 聚类与分类的区别
• 2.4 聚类方法的主要分类
• 2.4.1 基于划分的方法
• 2.4.2 基于层次的方法
• 2.4.3 基于密度的方法
• 2.4.4 基于网格的方法
• 2.4.5 基于模型的方法
• 2.5 聚类分析中待解决的问题
• 2.6 本章小结
• 第三章 高属性维数据聚类技术
• 3.1 聚类分析中的数据结构
• 3.1.1 聚类分析中的数据矩阵
• 3.1.2 聚类分析中的差异度矩阵
• 3.2 聚类分析中的数据类型
• 3.2.1 区间标度变量
• 3.2.2 标称型、序数型和比例标度型变量
• 3.2.3 二元变量
• 3.2.4 混合类型变量
• 3.3 数据集中的孤立点检测
• 3.3.1 基于统计学的孤立点检测
• 3.3.2 基于距离的孤立点检测
• 3.3.3 基于偏离的孤立点检测
• 3.4 聚类质量评价
• 3.5 聚类分析的常用方法
• 3.5.1 系统聚类法
• 3.5.2 动态聚类法
• 3.6 本章小结
• 第四章 基于稀疏属性差异度的动态聚类新方法
• 4.1 传统聚类距离计算方法的缺陷
• 4.2 高属性维稀疏数据动态聚类新方法
• 4.2.1 高属性维稀疏数据聚类概念
• 4.2.2 二态属性值取值计算
• 4.2.3 稀疏属性差异度计算
• 4.2.4 最小生成树的构建
• 4.2.5 基于稀疏属性差异度的动态聚类新方法
• 4.3 高维稀疏数据动态聚类算法举例
• 4.4 基于属性加权的动态聚类算法
• 4.4.1 属性加权差异度计算方法
• 4.4.2 基于属性加权的动态聚类方法
• 4.4.3 算法实验过程
• 4.5 算法分析与比较
• 4.6 本章小结
• 第五章 基于模糊聚类的高维稀疏数据动态聚类方法
• 5.1 多元相似度
• 5.2 模糊相似矩阵
• 5.3 模糊等价闭包法
• 5.4 基于对象多元相似度和模糊等价闭包的聚类算法
• 5.5 算法的实验过程
• 5.6 基于属性加权的动态模糊聚类算法
• 5.6.1 属性加权的多元相似度计算方法
• 5.6.2 基于属性加权的动态模糊聚类方法
• 5.6.3 实例分析
• 5.6.4 实验主要过程代码
• 5.7 算法分析与比较
• 5.8 本章小结
• 第六章 总结与展望
• 6.1 本文的工作总结
• 6.2 工作展望
• 参考文献
• 致谢
• 攻读硕士学位期间发表的学术论文及参与的科研项目