一种基于关键向量的文本分类模型的研究

论文摘要

随着计算机与网络技术的快速发展,网络已成为人们存储与获取信息的主要手段,存储于网上的文本数量也成指数级增长。这在为用户提供了海量信息的同时,也给用户从中获取有用信息带来了困难。如何能够快速又精准的在如此大量的信息中检索到用户所需的内容已成为当今重要的研究课题。文本的自动分类技术能够有效地将文本信息组织起来,帮助人们准确高效的定位文本信息,为用户获取所需信息提供有力的支持。自从上个世纪六十年代被提出至今,文本的自动分类技术已经有了极大的发展,有许多分类算法被提出,文本自动分类技术已经在搜索引擎,数字图书馆,信息检索等领域得到了广泛的应用。向量空间模型是目前进行大规模文本处理的一种通用模型,当前主流的分类算法如K-近邻算法（KNN）,支持向量机算法（SVM）等均是基于该模型的分类算法。虽然人们对这些算法已经有了深入的研究和广泛的应用,但是在其性能上仍有许多不尽人意的地方。课题首先在系统的理论学习和对国内外文献研究的基础上,分析了向量空间模型的特点和当前主流文本自动类算法的缺点和不足。针对目前主流分类算法对待训练文档过于简单的特点提出了一个基于向量空间模型的文本分类算法,引入了关键向量的概念,通过对训练文档进行分析,找出每一类别的关键向量,并赋予其一定的权值,使其为下一步的分类工作提供更多的信息,最后利用其对测试文档进行分类。在此之后,应用实验对该算法进行了测试,并与传统分类算法进行了比较。实验结果表明,与传统算法相比,该分类算法可以在一定程度改善分类速度与精度。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 论文研究的的背景及意义
• 1.2 国内外研究现状
• 1.3 本文研究内容及论文组织结构
• 第2章 向量空间模型
• 2.1 文本表示
• 2.1.1 特征项抽取作为文本特征
• 2.1.2 特征项权重计算 TF-IDF 公式
• 2.1.3 相似度计算
• 2.2 向量空间模型
• 2.2.1 向量空间模型的基本概念
• 2.2.2 向空间模型的特点
• 2.3 常用的文本分类算法
• 2.4 本章小结
• 第3章 基于关键向量的文本分类算法
• 3.1 基本思路介绍
• 3.1.1 传统的基于向量空间模型算法的不足
• 3.1.2 早期的改进思路
• 3.1.3 算法的评价
• 3.2 基于关键向量的文本分类算法介绍
• 3.2.1 相关概念的引入
• 3.2.2 新算法的工作原理
• 3.3 相关阈值的确定
• 3.3.1 K 值的确定
• 1和k₂ 值的确定'>3.3.2 k₁和k₂值的确定
• 3.4 本章小结
• 第4章 系统实现
• 4.1 实验设计
• 4.2 系统模型
• 4.3 系统实现
• 4.3.1 文本收集
• 4.3.2 预处理
• 4.3.3 文档的向量化
• 4.3.4 关键向量的计算
• 4.3.5 测试
• 4.4 主要算法描述
• 4.4.1 词频统计模块
• 4.4.2 关键向量查找模块
• 4.4.3 文本分类模块
• 4.5 本章小结
• 第5章 测试
• 5.1 测试语料库
• 5.1.1 文件格式
• 5.1.2 文件内部标签
• 5.1.3 类别
• 5.2 实验环境说明
• 5.3 评价标准
• 5.4 实验过程及结果
• 5.4.1 实验一：K 值的选取对分类效果的影响
• 5.4.2 实验二：分类文件数量对分类效果的影响
• 5.4.3 实验三：与其它分类算法的比较
• 5.4.4 算法的时间性能分析
• 5.5 实验讨论
• 5.6 本章小结
• 结论
• 附录：分类器实现的主要代码
• 参考文献
• 攻读硕士学位期间发表的学术论文
• 致谢