基于SOM的文本聚类模型研究

论文摘要

随着信息科技的日益发展，人们所能得到的信息在飞速增长。为了使各种资源能够及时的被用户发掘，搜索引擎已经成为了人们日常生活中必不可少的工具。虽然目前主流的文字搜索引擎都是基于内容的检索，但在实际实施时，它们往往没有从语义的层面处理文本信息。所以，搜索引擎在针对某个查询返回的结果中往往包含了许多并非用户真正需要的信息。基于这种考虑，对搜索引擎返回的结果进行再次分析，挖掘出返回结果中包含的各种主题信息，将会大大的提升用户体验。自组织映射（Self-Organizing Map，SOM）属于人工神经网络的范畴。它不仅能够准确、高效对文本信息进行聚类，而且可以将高维的文本信息映射到用户可直观理解的低维空间中。通过一定的学习规则，SOM网络能够发掘文本集合中潜在的模式，并将这些模式展现在训练稳定的神经元中。对于原始空间中相似的文本，将被映射到邻近的神经元上。对于相异的文本，则被映射到疏远的神经元上。从而保持了文本集合在原始空间中的拓扑结构。但原有的SOM模型中没有考虑文本集合中语义层面的相似性。因此，在原始的SOM模型中引入狄利克雷分布（Latent DirichletAllocation，LDA）模型。LDA模型是一个典型的三层贝叶斯模型，能够完整的描述文档集合的生成过程。通过LDA模型，能够得到文档在给定数目主题上的分布和主题在文档集合的词汇表上的分布。将LDA模型得到的主题作为输入空间的维度，训练SOM神经元的连接权向量。最后，当网络稳定后，即可得到基于语义层面的文档集合的聚类效果。此时，各个神经元的连接权向量即为在各个主题上的分布。找到权重最大的主题，即可作为该神经元的主题。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 课题的研究背景
• 1.2 课题的研究目的与意义
• 1.3 国内外研究的概况
• 1.4 论文的主要研究内容
• 2 相关技术分析
• 2.1 文本聚类技术
• 2.2 人工神经网络
• 2.3 主题模型
• 2.4 本章小结
• 3 SOM 神经网络的聚类模型
• 3.1 SOM 神经网络
• 3.2 SOM 神经网络的测评
• 3.3 SOM 神经网络的聚类模型
• 3.4 本章小结
• 4 LDA 在 SOM 神经网络的聚类模型
• 4.1 LDA 模型
• 4.2 LDA-SOM 聚类模型
• 4.3 本章小结
• 5 实验验证
• 5.1 实验环境及数据
• 5.2 实验步骤
• 5.3 实验结果及分析
• 6 总结与展望
• 6.1 全文总结
• 6.2 展望
• 致谢
• 参考文献