快速文本分类研究

论文摘要

因特网上文本信息的迅猛增长给文本分类的精度与速度提出了新的标准与挑战。这就要求文本分类在提高精度的同时,还要进一步提升训练与分类速度。为了面对时代的挑战,作者对快速文本分类技术进行了探索和研究,取得了一定的成果。本文首先介绍了文本分类的发展概况和文本分类过程中的相关技术,重点介绍和分析了文本表示、分词方法、特征选择、和常用的分类算法等,为后续章节的研究提供了理论和实验基础。随后,概括总结了现有快速文本分类技术及其方法,包括索引技术、样本裁减技术和降维技术,并重点介绍了降维技术的理论和方法。最后,本文提出了一种基于边界可信度相似的快速文本分类算法和在其基础上改进的基于类别分布特征的快速文本分类算法,依据类别分布特征调整文本与类别的相似度,克服了数据集类别间样本分布不均衡和类别中样本密度不均的缺点,提高分类的性能。实验结果表明该算法提高了文本分类的效果,显示出了较好的鲁棒性,并显著提高了文本分类效率。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 研究背景
• 1.2 研究意义
• 1.3 研究历史
• 1.4 研究现状
• 1.4.1 特征选择与压缩
• 1.4.2 分类器组合
• 1.4.3 小样本问题
• 1.4.4 层次文本分类
• 1.4.5 样本不均衡问题
• 1.5 研究内容
• 第二章 文本分类方法概述
• 2.1 文本的表示
• 2.1.1 文本向量的表示方法
• 2.1.2 文本向量的特征权重表示方法
• 2.2 分词方法
• 2.2.1 基于字符串匹配的分词方法
• 2.2.2 基于统计的分词方法
• 2.2.3 专家系统分词方法
• 2.2.4 神经网络的分词方法
• 2.3 特征选择
• 2.3.1 词频方法
• 2.3.2 信息增益方法
• 2.3.3 互信息方法
• 2.3.4 交叉熵方法
• 2.3.5 文本证据权方法
• 2.3.6 CHI 统计方法
• 2.3.7 几率比方法
• 2.4 分类方法
• 2.4.1 贝叶斯方法
• 2.4.2 k 近邻方法
• 2.4.3 决策树方法
• 2.4.4 支持向量机方法
• 2.4.5 神经网络方法
• 2.4.6 基于投票的方法
• 2.4.7 Rocchio 方法
• 2.4.8 Sleeping Expert 方法
• 2.5 分类算法评估指标
• 2.5.1 召回率与精确率
• 2.5.2 BEP 与F-Measure
• 2.5.3 微平均与宏平均
• 第三章 快速文本分类技术
• 3.1 降维技术
• 3.1.1 类别可分离性判据
• 3.1.2 特征提取
• 3.1.3 特征搜索
• 3.1.4 特征排序
• 3.2 索引技术
• 3.2.1 R 树
• 3.2.2 SS 树
• 3.2.3 VP 树
• 3.2.4 Grid 文件
• 3.3 样本裁减
• 3.3.1 最近邻编辑
• 3.3.2 样本学习法
• 3.3.3 样本修正法
• 第四章 基于边界可信度相似的快速文本分类方法
• 4.1 中心向量法和KNN 法的文本分类方法及特性
• 4.1.1 中心向量法文本分类及其特性
• 4.1.2 KNN 法文本分类及其特性
• 4.2 基于边界可信度相似的快速文本分类思想
• 4.3 基于边界可信度相似的快速文本分类方法
• 4.3.1 边界距离定义及计算
• 4.3.2 基于边界可信度的相似性度量
• 4.3.3 基于边界可信度相似的快速文本分类算法
• 4.4 实验设计与分析
• 4.5 本章小结
• 第五章 基于类别分布特征的快速文本分类方法
• 5.1 类别分布特征对文本分类的影响
• 5.2 平衡类别分布的策略
• 5.3 基于类别分布特征的文本分类思想
• 5.4 基于类别分布特征的文本分类方法
• 5.4.1 自适应相似性度量
• 5.4.2 基于类别分布特征的快速文本分类算法
• 5.5 实验设计与分析
• 5.6 本章小结
• 第六章 总结与展望
• 6.1 总结
• 6.2 进一步研究及展望
• 致谢
• 参考文献
• 附录：作者在攻读硕士学位期间发表的论文