KNN文本分类研究

论文摘要

文本分类最初是应文本信息检索的要求出现的。文本分类可以使得人们无需逐个浏览文本文件来确认是否是自己所需文本,自动的将文本划分到人们事先指定好的类别域中的正确类别,同时在分类过程中得到的分类模式及其它数据亦可应用于进一步的文本挖掘、智能搜索引擎、个性化软件助理等领域。本文分析了各种算法的分类思想、文本预处理、特征选择和特征提取方法,并且对K最近邻文本分类问题进行了深入的研究。首先,深入研究了传统的TFIDF加权方案,分析出其存在的缺陷。在此基础上分别提出了对词频函数和逆文档频数函数的改进策略,使其更适合K最近邻文本分类。其次,为了解决K最近邻文本分类的边界问题,定义了文本分类中类密度和类倾斜的概念。通过标准差判别类密度是否出现倾斜,并且引入收缩因子收缩发生倾斜的类密度,直到类密度不再发生倾斜。之后,根据收缩后的类密度对传统的K最近邻决策函数进行修改,形成了自适应的加权K最近邻文本分类。最后,针对K最近邻方法存在分类速度问题,提出了一种基于密度的K最近邻分类器训练样本裁剪方法,对类的中心区域样本进行了大量裁剪。这种方法降低了K最近邻算法的计算量,从而大大提高了分类器在分类阶段的分类速度。实验结果表明,本文所提出的观点均优于传统观点,并且提高了K最近邻分类器的准确率、查全率和分类速度。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 课题的研究背景和应用前景
• 1.2 国内外研究现状
• 1.2.1 国外研究现状
• 1.2.2 国内研究现状
• 1.3 本文研究的内容
• 1.4 本文的组织结构
• 第2章 中文文本分类技术简介
• 2.1 文本分类的预处理工作
• 2.1.1 中文文本分词技术
• 2.1.2 文本表示模型
• 2.1.3 特征选择和特征加权
• 2.2 文本分类算法简介
• 2.2.1 Rocchio 算法
• 2.2.2 朴素贝叶斯算法
• 2.2.3 KNN 分类算法
• 2.2.4 支持向量机分类算法
• 2.3 评价文本分类算法方法
• 2.4 本章小结
• 第3章 对TFIDF 加权方案的改进
• 3.1 文本特征加权简介
• 3.2 传统TFIDF 简介
• 3.3 传统TFIDF 缺陷的研究
• 3.3.1 传统TF 函数缺陷
• 3.3.2 传统IDF 函数缺陷
• 3.4 改进的TFIDF 加权方案
• 3.4.1 改进的TF 函数
• 3.4.2 改进的IDF 函数
• 3.5 新型TFIDF 与主流分类算法的结合
• 3.5.1 新TFIDF 与KNN 分类算法的结合
• 3.5.2 新TFIDF 与SVM 分类算法的结合
• 3.6 本章小结
• 第4章 KNN 算法研究与改进
• 4.1 KNN 文本分类算法简介
• 4.2 影响KNN 分类算法的因素
• 4.2.1 影响KNN 分类准确率的因素
• 4.2.2 影响KNN 分类速度的因素
• 4.3 KNN 边界问题解决方案
• 4.3.1 已存在的解决方案
• 4.3.2 本文提出的解决方案
• 4.3.3 实际应用与算法实现
• 4.4 KNN 训练文本的裁剪方案
• 4.4.1 基本概念
• 4.4.2 类内部样本裁剪方法
• 4.4.3 类内部样本裁剪算法
• 4.5 本章小结
• 第5章 实验及分析
• 5.1 实验测试环境与数据集
• 5.1.1 实验测试环境
• 5.1.2 数据集
• 5.2 实验设计方案与评估方式
• 5.2.1 改进的TFIDF 实验设计方案
• 5.2.2 改进的KNN 实验方案
• 5.2.3 评估方式
• 5.3 实验结果及分析
• 5.3.1 改进的TFIDF 实验结果及分析
• 5.3.2 改进的KNN 实验结果及分析
• 5.4 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间承担的科研任务与主要成果
• 致谢
• 作者简介