文本挖掘中的聚类算法研究

论文摘要

在文本挖掘中,使用文本聚类技术可以将大量文本信息组成有意义的类或簇,因此,聚类技术已成为文本信息挖掘技术中的核心技术。本文首先对文本挖掘方法进行了综述;对聚类分析技术做了阐述,包括聚类的定义、数据类型和相似度量方法;对文本聚类原型的一般过程和关键技术进行了研究,着重分析了文本聚类算法的选择,并对K-means算法的初值依赖性进行了讨论。然后,本文重点对四种常用的聚类算法基于实例数据集进行测试,包括基于划分的K-means算法、层次聚类算法、基于密度的DBSCAN算法和模糊聚类算法,对实验中参数调整对聚类结果的影响进行了分析和评价。最后,本文设计并实现了一个基于《人民日报标注语料库》的中文文本聚类原型系统,通过实验分别讨论了聚类初始值K、随机种子参数变化和文档输入顺序对聚类结果的影响,将聚类准确度和纯度作为评测指标对聚类结果进行评价。上述研究结果可以指导用户调整聚类原型和参数值,从而选择最优的聚类原型和最佳的参数值。

论文目录

• 提要
• 第1章 绪论
• 1.1 研究背景及意义
• 1.2 文本挖掘
• 1.2.1 文本挖掘的定义
• 1.2.2 文本挖掘的发展及现状
• 1.3 文本聚类
• 1.3.1 聚类分析及应用
• 1.3.2 文本聚类的研究现状
• 1.4 本文工作和内容安排
• 第2章 聚类分析
• 2.1 聚类分析的定义
• 2.2 聚类的数据类型
• 2.2.1 数据矩阵
• 2.2.2 相异度矩阵
• 2.2.3 区间标度变量
• 2.3 相似度量方法
• 2.3.1 距离
• 2.3.2 相似系数
• 2.4 聚类方法分类
• 第3章 文本聚类方法分析
• 3.1 文本聚类的定义
• 3.2 文本聚类的一般过程
• 3.3 文本聚类建模方法分析
• 3.3.1 分词处理与词频统计
• 3.3.2 特征项的选取
• 3.3.3 文本向量模型
• 3.3.4 TF-IDF 权重的计算
• 3.3.5 文档相似度度量
• 3.4 文本聚类算法分析
• 3.4.1 算法的选择
• 3.4.2 基于划分的K-means 聚类算法
• 3.4.3 K-means 算法初值依赖性的讨论
• 3.4.4 有关初值选取的现有方法
• 第4章 聚类算法的分析与比较研究
• 4.1 基于划分的 K-means 聚类算法
• 4.1.1 K-means 聚类算法的主要思想
• 4.1.2 K-means 聚类算法描述
• 4.1.3 基于实例数据集的 K-means 聚类算法测试
• 4.1.4 K-means 算法的性能分析
• 4.2 层次聚类算法
• 4.2.1 层次聚类
• 4.2.2 层次聚类的基本步骤
• 4.2.3 基于实例数据集的层次聚类算法测试
• 4.2.4 层次聚类的性能分析
• 4.3 基于密度的 DBSCAN 聚类算法
• 4.3.1 基于密度的DBSCAN 的相关定义
• 4.3.2 基于密度的DBSCAN 的主要思想
• 4.3.3 基于实例数据集的 DBSCAN 算法测试
• 4.3.4 DBSCAN 聚类算法的性能分析
• 4.4 模糊聚类
• 4.4.1 模糊聚类概述
• 4.4.2 模糊聚类算法的主要思想
• 4.4.3 基于实例的FCM 模糊算法测试
• 4.5 算法性能的衡量指标
• 4.6 聚类算法性能比较
• 第5章 文本聚类原型系统的设计与实现
• 5.1 文本聚类原型系统的设计
• 5.1.1 文本聚类原型系统的功能分析
• 5.1.2 文本聚类原型系统的模块设计
• 5.1.3 语料库的选择
• 5.1.4 聚类算法的选择
• 5.2 文本聚类原型系统功能模块的实现
• 5.2.1 K-means 算法的实现流程及关键代码
• 5.2.2 文本聚类原型系统的界面设计
• 5.3 文本聚类原型系统的测试及结果分析
• 5.3.1 聚类准确度评价
• 5.3.2 K-means 算法中参数K 对聚类结果影响的分析
• 5.3.3 随机种子参数变化对聚类结果影响的分析
• 5.3.4 语料输入顺序的改变对聚类结果的影响分析
• 第6章 结束语
• 6.1 结论
• 6.2 今后的工作展望
• 参考文献
• 致谢
• 摘要
• Abstract