汉语言网络统计特性与半监督文档聚类算法研究

论文摘要

随着网络上电子文档呈指数级增长,人们迫切需要能利用计算机自动地处理这些文档,主要包括文档的自动分类、聚类和摘要。本文的侧重点是文档聚类。文档聚类的一般过程包括文本表示、聚类算法和聚类结果评价。其中,文本表示和聚类算法是一个聚类工具最重要的两个方面。在文本表示方面,向量空间模型占据统治地位。由于文本的半结构化特征,向量空间模型作为本文表示的缺点也是显而易见的。近来,复杂网络作为一门研究复杂性的工具引起了研究人员的广泛关注。文本作为人们的书面语言,也具有复杂性的特点。本文从复杂网络的角度探讨了汉语语言网的统计性质,希望从中能获得关于文本表示的新的发现。本文从一个最大的人民日报语料库出发,构造了两个不同的网络（CLN1和CLN2）。对于这两个网络,一个节点代表语料库里面的一个词。对于CLN1,如果两个节点对应的词在语料库的一个句子里是相邻的,则这两个节点之间形成一条边;对于CLN2,如果两个节点对应的词处于同一个句子里,则这两个节点之间有一条边。本文通过实验论证了这两个网络都展现了小世界效应、度分布无尺度结构、层次结构和负相关性。我们希望这些结果能为寻求新的文本表示模型带来新的线索。在聚类算法方面,本文关注在半监督条件下的文本聚类。在实际应用中,关于文档集的一些先验知识是知道的,比如某两个文档应该是归为一类的。这种先验知识可以用来在聚类过程中起到约束作用。这种利用了用户先验知识的聚类方法叫做半监督聚类。K-means是个常用且有效的聚类方法。本文把这种先验知识通过数学表达的方式与K-means的基于矩阵迹的目标函数结合起来,得到的新的目标函数可以通过矩阵特征值分解的方法进行优化。实验表明,本文提出的算法大大优于同类的几个方法。

论文目录

• 摘要
• Abstract
• 第一章 引言
• 1.1 研究背景与意义
• 1.1.1 复杂网络
• 1.1.2 文本挖掘
• 1.2 研究内容与取得的成果
• 1.3 本文结构
• 第二章 相关工作
• 2.1 语言网研究现状
• 2.2 半监督聚类研究现状
• 2.3 小结
• 第三章 汉语言网络特性研究
• 3.1 语料
• 3.2 网络构造方法
• 3.3 相关统计特性
• 3.3.1 无尺度结构
• 3.3.2 小世界效应
• 3.3.3 层次结构
• 3.3.4 介数分布
• 3.3.5 节点度负相关性
• 3.4 小结
• 第四章 基于K-means的半监督聚类算法
• 4.1 K-means算法及其谱表达形式
• 4.1.1 基本K-means算法
• 4.1.2 K-means算法的谱表达形式
• 4.2 融入半监督信息
• 4.3 半监督聚类算法S3-Kmeans
• 4.4 实验
• 4.4.1 文档数据
• 4.4.2 预处理
• 4.4.3 评价标准
• 4.4.4 实验结果
• 4.5 小结
• 第五章 结束语
• 参考文献
• 发表文章目录
• 致谢