文本分类中特征降维技术的研究

论文摘要

随着网络和信息技术的快速发展,大规模的文本处理得到持续研究和关注。大规模文本分类面对的是巨大的文本和类别数量,高维的特征空间对分类算法带来极高的计算复杂度和空间复杂度,且影响算法的可扩展性。对特征空间有效的降维不仅可以提高分类的效率和效果,而且可以提高分类器的泛化能力,因此对特征空间实施降维是非常必要的。本文研究了文本分类的关键技术；讨论了对特征向量空间进行降维的必要性；分析了特征空间降维常用的方法；由于主流的特征提取方法不能处理高维的特征空间,提出采用迭代的CCIPCA和ICA算法,解决大规模文本分类的降维问题；针对特征选择和特征提取方法的不足,采用了一种ICA与IG组合的降维方法；用分类对比实验对CCIPCA和ICA算法的有效性和可行性进行了评估,分析了实验结果及其产生的原因。分类对比实验结果表明：基于迭代的CCIPCA和ICA特征提取方法,所需计算空间较小,可以有效处理大规模文本分类问题,在降维的基础上提高了分类效果；在相同的数据集上,在CCIPCA、ICA及ICA与IG组合降维的方法中,基于ICA降维的分类效果是最好的。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 研究背景
• 1.2 研究现状
• 1.3 本文研究内容
• 1.4 本文章节安排
• 第2章 文本分类关键技术
• 2.1 文本分类的定义
• 2.2 文本分类系统的流程
• 2.3 文本分类系统的性能评价
• 第3章 基于迭代的特征提取方法
• 3.1 特征降维的主要方法和分析
• 3.1.1 特征选择
• 3.1.2 特征提取
• 3.2 基于迭代的特征提取算法
• 3.2.1 增量主元分析方法
• 3.2.2 改进的CCIPCA算法
• 3.2.3 独立成分分析
• 3.3 分类实验与结果分析
• 3.3.1 语料集
• 3.3.2 文本分类器
• 3.3.3 基于CCIPCA降维的文本分类
• 3.3.4 基于ICA降维的文本分类
• 3.3.5 分类实验的结果分析
• 3.4 基于组合降维的文本分类
• 3.5 结论
• 第4章 总结与展望
• 4.1 本文的主要工作
• 4.2 对今后工作的展望
• 参考文献
• 致谢
• 攻读硕士学位期间发表学术论文情况