基于免疫网络的文本挖掘方法研究

论文摘要

随着Internet的飞速发展及其在全世界范围内的普及和应用,网络上存储了海量的信息资源,这些信息资源数量与日俱增,尤其以Web页面为载体的文本数据呈爆炸式的增长并越来越成为人们关注的主要信息来源。如何从数量庞大的文本信息中快速有效地发现知识已经成为人们迫切需要解决的问题;近年来针对文本数据的挖掘已经成为人们重点研究的课题,其中对文本的聚类研究引起了广泛的重视。本文首先介绍了文本挖掘的研究背景和发展现状,对文本挖掘中的文本聚类算法的相关技术进行讨论,针对文本表示模型、特征词提取、特征向量降维及文本相似度的计算等与文本聚类密切相关的关键技术进行了描述与分析,在次基础上展开文本聚类算法的研究。实现文本聚类算法的动态适应性是当前文本聚类算法研究的重要方向之一。本文在研究人工免疫网络（aiNet）模型的基础上,结合文本聚类的特点,对aiNet算法进行改进,实现了基于aiNet的文本聚类算法,为实现文本的动态聚类提供了一种新的解决思路。为克服基于aiNet的文本聚类算法在处理高维数据时性能下降的缺点,本文研究了免疫遗传机制和k-means聚类算法,将免疫遗传引入k-means算法优化聚类中心,提出一种基于免疫遗传的k-means文本聚类算法IGAK,有效避免了经典k-means算法易受初始聚类中心选择不当的影响而陷入局部最优的缺点;在此基础上设计了一种基于聚类中心的虚拟坐标映射机制的文本表示模型,实现了文本向量模型的降维技术;结合该虚拟坐标向量模型,定义了抗体、抗原、亲和力、相似度等概念,提出一种融合免疫遗传k-means和aiNet的两阶段文本聚类算法IGAK-aiNet。最后,设计并实现了一种文本聚类模型,给出了模型的主要模块设计、必要的数据结构和部分代码;应用相关文本数据进行了对比实验,实验结果表明新算法具有较强的动态适应性,改善了聚类质量。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景及意义
• 1.1.1 研究背景
• 1.1.2 研究意义
• 1.2 文本聚类研究现状
• 1.3 本文主要研究内容
• 1.4 本文组织结构
• 第二章 文本聚类技术综述
• 2.1 聚类分析概述
• 2.1.1 聚类分析的应用
• 2.1.2 传统的聚类方法
• 2.2 文本聚类相关理论
• 2.2.1 文本聚类的特点
• 2.2.2 评价文本聚类算优劣性的标准
• 2.3 文本聚类技术综述
• 2.3.1 文档的表示模型
• 2.3.2 文档特征项提取
• 2.3.3 文本特征向量降维
• 2.3.4 文本相似度计算
• 2.4 本章小结
• 第三章 基于人工免疫网络的文本聚类研究
• 3.1 人工免疫网络聚类研究
• 3.1.1 网络模型定义与描述
• 3.1.2 传统的aiNet 模型算法
• 3.2 改进的AINET 聚类算法
• 3.2.1 网络构成规则
• 3.2.2 自然选择机制
• 3.3 改进的AINET 文本聚类算法
• 3.3.1 算法描述
• 3.3.2 性能测试实验
• 3.4 本章小结
• 第四章 基于免疫遗传K-MEANS 和AINET 的两阶段文本聚类算法
• 4.1 免疫遗传K-MEANS 文本聚类算法
• 4.1.1 K-Means 聚类算法介绍
• 4.1.2 免疫遗传算法
• 4.2 基于免疫遗传的K-MEANS 文本聚类算法IGAK
• 4.2.1 相关定义
• 4.2.2 免疫遗传k-means 文本聚类算法IGAK 描述
• 4.3 基于IGAK 和 AINET 的两阶段文本聚类算法（IGAK-AINET）
• 4.4 本章小结
• 第五章 基于IGAK-AINET 的文本聚类模型
• 5.1 功能模块设计
• 5.1.1 预处理模块
• 5.1.2 特征提取模块及词频计算模块
• 5.1.3 IGAK-aiNet 聚类模块
• 5.2 评测的标准及测试数据和环境
• 5.2.1 评测的标准
• 5.2.2 测试所需要的数据准备
• 5.2.3 测试环境
• 5.3 实验及结果分析
• 5.3.1 IGAK-aiNet 文本聚类的可行性和自组织性实验
• 5.3.2 k 值的选择对聚类结果的影响实验
• 5.4 本章小结
• 总结与展望
• 参考文献
• 致谢
• 附录（攻读硕士期间的科研情况）