高维海量数据联合聚类算法的研究与应用

论文摘要

联合聚类是新近的无监督的数据分析的范例,但是它变得日益流行是由于它发现隐藏的局部模式的潜力,和通常的无监督的运算法则比如说k-均值发现聚类不同。联合聚类的广泛部署需要面临数据转换、聚类的初始化、可扩展性等大量的实践的挑战。因此,这篇论文聚焦于使发展中的联合聚类方法更加成熟,并且它的最终目标是促使联合聚类作为各种各样的实际应用中不可缺少的无监督的分析工具。为了完成这样的目标,我们提出了三项明确的任务：（1）发展联合聚类运算法则使它具有功能性、适应性和扩展性；（2）联合聚类运算法则的扩展适应专门的应用需求；（3）联合聚类运算法则的应用广泛地存在于实际应用领域显现的难题中。就联合聚类的运算法则来说,我们提出了改进的贝叶斯联合聚类算法。它允许在行和列中有混合的类,也就是说聚类的对象既属于一个类,也属于另一个类。这个算法是用指数族的概率分布理论去发现联合聚类生成的类。同时,为了自动估计行和列的类数,文中还提出了基于贝叶斯信息准则的类别数估计算法。关于联合聚类的扩展,我们为一般的联合聚类的方法提出了基于逐步对应分析法的快速联合聚类的框架。它不需要把整个数据矩阵都放进内存里,这对于高维海量数据是至关重要的。这个框架可以使用k-均值、信息论和贝叶斯等不同的联合聚类运算法则。它在执行效率上优于上述运算法则,而与其它方法有差不多的正确率。关于联合聚类的应用,我们扩展了贝叶斯联合聚类的功能来适应特别应用的需求。通过基于逐步对应分析法的贝叶斯联合聚类方法可以从高维海量数据中发现一致的联合聚类,它的目的是对行和列进行选择,然后通过贝叶斯联合聚类算法来同时聚类行和列。最后,我们阐述了该算法框架应用于各种各样仿真的和真实的数据得出的结果。总之,我们介绍了联合聚类算法能发现隐藏的有用的信息,提出了算法的扩展来适应专门的需求,并且将它们应用于广阔的实践领域。

论文目录

• 摘要
• ABSTRACT
• 目录
• 第1章 绪论
• 1.1 研究背景和现状
• 1.2 本文的组织结构和创新点
• 第2章 高维海量数据联合聚类预处理问题概述
• 2.1 KDD与高维海量数据
• 2.2 联合聚类预处理概述
• 2.2.1 高维海量数据预处理的主要内容
• 2.2.2 高维海量数据的联合聚类预处理
• 第3章 联合聚类分析算法及其应用
• 3.1 联合聚类的基本概念
• 3.1.1 联合聚类的定义
• 3.1.2 联合聚类分析算法的典型要求
• 3.2 联合聚类的性质
• 3.3 主要联合聚类算法
• 3.3.1 单向聚类的独立应用方法（第一类）
• 3.3.2 单向聚类的依赖应用方法（第二类）
• 3.3.3 无遗漏的和非重叠的方法（第三类）
• 3.3.4 遗漏的和重叠的方法（第四类）
• 3.4 联合聚类算法的应用
• 3.4.1 现有的联合聚类的应用
• 3.4.2 联合聚类的新应用
• 第4章 基于逐步对应分析法的联合聚类预处理方法
• 4.1 对应分析法的基本内容
• 4.1.1 对应分析方法
• 4.1.2 应用示例与实验评估
• 4.2 逐步对应分析法的基本内容
• 4.2.1 对应分析的矩阵分解问题
• 4.2.2 矩阵分解的标准
• 4.2.3 逐步对应分析的计算过程
• 4.2.4 应用示例与实验评估
• 4.3 基于逐步对应分析法的联合聚类预处理方法
• 第5章 基于对应分析的贝叶斯联合聚类算法
• 5.1 生成的混合模型
• 5.2 贝叶斯联合聚类
• 5.3 对应分析-贝叶斯联合聚类
• 5.4 基于贝叶斯信息准则的聚类数目估计算法
• 5.5 应用示例与实验评估
• 第6章 联合聚类技术在城市房产交易数据分析中的应用
• 6.1 基于逐步对应分析法的数据预处理
• 6.2 基于贝叶斯信息准则的聚类数目估计
• 6.3 贝叶斯联合聚类算法在房产数据中的应用
• 第7章 总结与展望
• 7.1 本文工作的总结
• 7.2 需要进一步研究的问题
• 参考文献
• 附录1 攻读硕士期间发表的论文
• 附录2 攻读硕士期间参加的课题和项目
• 致谢