KNN文本分类中特征词权重算法的研究

论文摘要

随着互联网的普及,现在政府、企业、家庭都在使用网上的电子资源或者向互联网上发送大量的电子文档,如电子新闻、电子邮件、电子图书等等。由于互联网上电子文档的数量急速膨胀,如何在较短的时间内快速、有效的处理数量庞大的文本文档,已经成为当前研究的一个热点。目前,文本分类技术由于其较大的实用性得到了广泛的关注。文本分类已经称为当前流行的一个研究课题。文本分类就是将待分类的文本根据其内容自动划分到预先规定好的类别中。文本分类的步骤一般包括文本预处理、特征选择、特征权值计算、分类、性能评估等。特征权重计算方法是文本分类中关键的一个环节,关系到分类的最终结果。传统的特征权重算法TFIDF是利用重点考虑在该文本中出现的次数较多,同时在文本集的其它文本中出现次数较少的特征项。由于TFIDF没有考虑到特征项和文本类别之间的关系,所以TFIDF算法的精度不高。鉴于TFIDF算法本身的缺陷,我们猜想是否能在传统权值计算函数的基础上聚合特征选择算法形成一种新的权值计算函数,这样就可以避免TFIDF函数的缺陷。本文通过对文本分类中所涉及的特征选择和权重计算方法进行论述,提出了新的基于类分布信息及位置信息的新的特征词权重算法。本文采用中科院计算所的汉语词法分析系统ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)。利用系统中的KNN分类器对TFIDF改进算法进行测试,根据实验结果可得出以下结论:(1)分别选取互信息、期望交叉熵、信息增益、文本证据权、和CHI概率统计等不同的特征选择算法进行对比实验,实验结果表明特征选择算法对分类精度的影响是比较大的。在这几种算法中,文本证据权的特征选择效果是最好的,其次是信息增益、CHI、期望交叉熵,互信息分类效果最差。(2)比较当权值计算公式分别选为TFIDF、TF*CHI、TFIDF*CHI时,通过实验中不同类别的微查准率比较不同特征权值计算公式对单个类别的分类效果的影响。通过实验我们可以得出以下结论:改进后的TF*CHI的权值计算公式对于类别的分类效果不论在查全率上还是查准率上都是最差的,而TFIDF*CHI的权值计算公式与传统的TFIDF公式从总体上看差别不大,但是通过仔细研究可以发现改进后的权值计算方法对原本就已经有高查准率的类别的影响不是很大,但是它对原本分类效果不太好的类别的分类效果有着很大的改善。(3)分别选取互信息、期望交叉熵、信息增益、文本证据权、和CHI概率统计等不同的特征选择算法,再分别选取TFIDF、TF*特征选择函数、TFIDF*特征选择函数等不同的权值计算方法,利用KNN分类模型,进行对比实验,比较改进的特征项权值计算方法对最终分类效果的影响。我们通过实验可以看出,无论是哪种特征选择函数,当特征权值计算函数选为TF*特征选择函数时,它的分类效果都低于权值计算函数为TFIDF和TFIDF*特征选择函数的情况。除了信息增益之外,5种特征选择函数中的其它任一种,TFIDF*特征选择函数时的分类准确率要比原来的TFIDF高。这种情况说明,并不能武断的说一定哪种特征选择算法或者权值计算方法一定好,而是要看特征选择算法和权值算法的组合,只有搭配合适,才能发挥其优势,优化分类效果。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景和意义
• 1.2 国内外研究的历史及现状
• 1.2.1 国外文本分类研究现状
• 1.2.2 国内文本分类研究现状
• 1.3 文本分类的发展过程
• 1.4 文本分类的概述
• 1.4.1 文本分类的定义
• 1.4.2 文本分类的特点
• 1.4.3 文本分类的类型
• 1.4.4 文本分类模式
• 1.5 文本分类的应用
• 1.6 论文结构
• 第二章 文本分类的关键技术
• 2.1 文本分类的过程和框架
• 2.2 文本表示
• 2.2.1 文本表示方法
• 2.2.2 文本相似度计算
• 2.3 文本预处理
• 2.3.1 文档特征表示
• 2.3.2 分词
• 2.3.3 停用词的处理
• 2.4 特征选择
• 2.4.1 特征降维
• 2.4.2 特征项的权值计算
• 2.4.3 特征选择函数
• 2.5 分类算法
• 2.6 性能评价
• 2.7 本章小结
• 第三章 特征选择方法的研究
• 3.1 特征选择定义
• 3.2 特征选择方法
• 3.3 特征选择算法的比较
• 3.4 本章小结
• 第四章 特征词权重计算方法
• 4.1 常用的特征项权值计算方法
• 4.2 TFIDF 的介绍
• 4.3 TFIDF 算法的优缺点
• 4.4 本章总结
• 第五章 特征词权重计算方法的改进
• 5.1 TFIDF 权重计算方法
• 5.2 特征权重计算方法的改进
• 5.2.1 TF*特征提取函数
• 5.2.2 TFIDF*特征提取函数
• 5.3 本章总结
• 第六章 KNN 算法介绍
• 6.1 典型分类模型
• 6.2 KNN 分类模型
• 6.3 KNN 算法模型的优缺点
• 6.4 多种分类模型功能的比较
• 6.5 本章小结
• 第七章 系统设计与实验
• 7.1 文本分类模型
• 7.2 系统总体结构
• 7.3 实验环境
• 7.4 性能评价方法
• 7.5 文本分类实验
• 7.5.1 样本集
• 7.5.2 实验步骤
• 7.5.3 实验结果及评价
• 7.6 本章小结
• 第八章 总结与展望
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文