基于互信息的文本自动分类特征选择方法研究

论文摘要

当今社会,伴随着各种电子形式文本的大量出现,如何在众多电子形式的资源中准确而快速的找到人们需要的信息,成为当前信息处理领域的一个研究热点。文本自动分类技术的出现在一定程度上缓解了上述问题。本文对文本自动分类相关技术进行了基础性的研究,如文本分词、特征选择、文本表示模型、文本分类算法等,重点研究分析了互信息特征选择方法,发现传统互信息方法在进行特征选择时没有考虑特征项在文本集中出现的频率和特征项在类内的分布信息,致使文本分类性能较低。为了提高传统互信息方法的分类性能,本文引入类内平均频度和类内分散度两个因素对传统互信息方法进行改进,为了验证改进后的互信息方法有效可行,采用了一个集分词、去停用词、特征选择、文本分类多重功能于一体的开源文本自动分类系统对改进后的互信息方法进行文本分类实验,并和传统互信息方法、文本分类性能较好的其他特征选择方法在同等条件下进行分类实验效果对比,结果表明改进后的互信息方法的分类性能确实有所提高,验证了本文对传统互信息方法的改进是有效可行的。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 文本自动分类技术研究的背景、目的和意义
• 1.2 文本自动分类技术的研究现状
• 1.3 本文的主要内容与论文结构
• 第二章 文本自动分类相关技术
• 2.1 文本自动分类的定义
• 2.2 文本自动分类模型
• 2.3 文本分词技术
• 2.3.1 基于字符串匹配的分词方法
• 2.3.2 基于统计的分词方法
• 2.4 去停用词
• 2.5 文本的特征选择
• 2.5.1 文本频度法
• 2.5.2 文本证据权
• 2.5.3 互信息
• 2.5.4 信息增益
• 2.5.5 期望交叉熵
• 2.5.6 CHI 统计
• 2.6 文本表示模型
• 2.7 文本分类算法
• 2.7.1 类中心向量法
• 2.7.2 K 近邻算法
• 2.8 本章小结
• 第三章 互信息方法的改进
• 3.1 传统的互信息方法
• 3.1.1 传统互信息方法的缺陷
• 3.2 改进的互信息方法
• 3.2.1 类内平均频度
• 3.2.2 类内分散度
• 3.2.3 改进后的互信息方法
• 3.3 本章小结
• 第四章 实验与结果分析
• 4.1 实验环境
• 4.2 文本自动分类的评估指标
• 4.3 语料库
• 4.4 文本预处理
• 4.5 文本分类
• 4.5.1 实验的分类算法
• 4.6 实验结果及分析
• 4.7 本章小结
• 第五章 总结与展望
• 5.1 总结
• 5.2 下一步工作展望
• 参考文献
• 研究生期间发表论文
• 致谢