中文文本分类中特征选择方法的研究与实现

论文摘要

特征选择在整个中文文本分类过程中具有重要作用。国内现有的对于特征选择方法的研究主要关注于各特征选择方法在类分布均匀语料集上的分类效果。本文针对中文文本分类中一些特征选择方法在类分布不均匀语料集上,分类效果大幅下降的问题,在国内现有研究的基础上,分析和研究了影响其分类效果的主要因素,并提出了改进方案。在此基础上设计并实现了一个中文文本分类系统,为本文对中文文本分类的进一步研究提供了平台。主要工作有：1)针对传统信息增益特征选择方法在类分布不均匀语料集上分类效果明显下降的情况,分析并指出了影响信息增益特征选择方法分类效果的因素。结合国内现有研究,在传统信息增益方法的基础上,去除了方法中特征词不出现情况对文本分类的贡献,同时将集中度、分散度等因素加入到特征选择中。为了进一步提高分类效果,又将改进型信息增益方法用于权重调整技术中。2)针对传统CHI统计特征选择方法对低频词倚重大的缺点,深入分析了其对低频词倚重大的原因。在传统CHI特征选择方法的基础上,去除了方法中特征词与类别负相关的情况。为了进一步对改进后的方法进行分析和研究,又将改进后的方法引入到特征词权重调整技术中。与此同时,结合国内现有的关于CHI统计特征选择方法的研究,将集中度、分散度、频度等因素引入到改进后的方法中,提高了该方法的分类效果。3)为了实验和验证上述改进方法的分类效果,同时为进一步对中文文本分类的研究提供平台,设计和开发了一个中文文本分类系统。4)为了进一步发现和探索中文文本分类中特征词权重调整方法中的问题和规律,在已开发的中文文本分类系统上对不同分类器不同语料集上各权重调整方法的分类效果进行了实验和总结。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景和意义
• 1.2 研究现状
• 1.3 研究内容
• 1.4 论文组织
• 第二章 文本分类的相关技术
• 2.1 文本分类过程
• 2.2 语料集
• 2.3 中文分词
• 2.4 去停用词
• 2.5 降维处理
• 2.5.1 特征选择
• 2.5.2 特征抽取
• 2.6 文本表示
• 2.7 常用分类算法
• 2.7.1 Naive Bayes算法
• 2.7.2 SVM算法
• 2.7.3 KNN算法
• 2.8 分类性能评估
• 第三章 信息增益特征选择方法的分析与改进
• 3.1 特征选择
• 3.2 信息熵和信息增益
• 3.2.1 信息熵
• 3.2.2 条件熵
• 3.2.3 信息增益
• 3.3 信息增益方法的分析与改进
• 3.4 实验分析
• 3.5 本章小结
• 第四章 CHI统计特征选择方法的分析与改进
• 4.1 特征选择
• 4.2 CHI统计特征选择方法
• 4.3 CHI统计方法的分析与改进
• 4.4 实验分析
• 4.5 本章小结
• 第五章 中文文本分类系统的设计与实现
• 5.1 系统开发环境
• 5.2 系统设计
• 5.2.1 影响系统性能的主要因素
• 5.2.2 系统需求分析
• 5.2.3 系统的用例图
• 5.2.4 系统功能模块及相关流程图
• 5.2.5 系统的关键类介绍
• 5.3 系统实现
• 5.3.1 系统基本功能实现
• 5.3.2 改进型信息增益方法的实现
• 5.3.3 改进型CHI统计方法的实现
• 5.4 系统的主要特点
• 5.5 权重调整方法分类效果研究
• 5.5.1 传统方法在KNN分类器上的分类效果
• 5.5.2 传统方法在SVM分类器上的分类效果
• 5.5.3 分类效果的分析与总结
• 5.6 本章小结
• 总结与展望
• 参考文献
• 攻读学位期间发表的论文
• 致谢