潜在语义索引分类模型的研究与改进

论文摘要

针对向量空间模型表示法的局限性,采用潜在语义索引在语义层面进行处理,是近几年提出的一种文本表示方法。潜在语义索引是利用统计计算导出文本中的潜在的语义进行索引,而不是在传统的字词上进行索引。本文的研究工作是基于潜在语义索引的分类模型。针对向量空间表示模型的高维性、松散性、仅体现词汇层面的缺点,在K-近邻和支持向量机分类算法的基础上,应用了潜在语义索引对原始的词*文档矩阵进行了消减,得到信息更为丰富、准确、浓缩的语义空间,与向量空间模型的特征空间进行了详细全面的比较。实验结果表明在几乎相同的F1值下,基于潜在语义索引的分类模型仅仅使用50维就能达到向量空间模型1000维同样的效果,所用的特征向量仅仅为后者的1/20。本文还用实验数据详细说明了基于各种不同的特征词选择算法,即使特征词变化比较大,基于潜在语义索引的K-近邻和支持向量机分类模型在实验中有着较好的稳定性和有效性,保持一个稳定的F1值。本文还针对K-近邻分类算法的局限性,改进了传统的K-近邻算法,提出了一种基于中心距离的K-近邻改进算法。传统的K-近邻算法有诸多局限,比如在训练样本分布类内距离较小而类间距离较大的情况下才有较理想的分类效果,但是实际情况遇到训练样本很松散,当训练样本处于边界分布和分布不均时,K-近邻算法存在弊端。本文提出的基于中心距离的改进算法,综合考虑了训练样本的分布情况,避免了边界分布和不均分布对K-近邻造成的影响。实验结果表明,宏平均F1值从83.6%提高到88.5%,证明了改进的有效性。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究背景及意义
• 1.2 国内外研究现状
• 1.3 本文的工作
• 1.4 论文的组织
• 2 文本分类技术
• 2.1 文本分类特点介绍
• 2.2 文本预处理
• 2.3 文档表示模型
• 2.4 文本分类算法
• 2.4.1 统计方法
• 2.4.2 规则方法
• 3 特征提取与降维
• 3.1 特征选择
• 3.2 特征抽取
• 4 潜在语义索引的降维分类模型
• 4.1 潜在语义索引
• 4.1.1 奇异值分解
• 4.1.2 一个LSI例子
• 4.2 LSI的分类模型
• 4.3 LSI模型比VSM模型的优越性
• 4.4 LSI中k对分类效果的影响
• 4.5 分类效果的评价指标
• 4.5.1 准确率与召回率
• 4.5.2 F-measure值
• 4.6 实验结果及分析
• 4.6.1 实验过程
• 4.6.2 结果分析
• 5 基于中心距离的KNN算法的改进
• 5.1 KNN的分类算法
• 5.1.1 KNN算法思想
• 5.1.2 KNN算法的不足
• 5.2 基于中心距离的KNN算法改进
• 5.2.1 训练样本分布不均造成的影响
• 5.2.2 基于中心距离的KNN算法思想
• 5.3 实验结果及分析
• 结论
• 参考文献
• 攻读硕士学位期间发表学术论文情况
• 致谢