基于信息熵的文本特征加权方法研究

论文摘要

如何在浩瀚繁杂的文本中掌握最有用、最准确的信息,始终是信息处理技术急待解决的问题。而解决这个问题较有效的方法就是对文本文档进行分类。文本分类的优劣直接关系到人们使用文本信息的效率。对文本文档进行特征加权是提高文本分类效果简洁且有效的方法。目前,TF/IDF方法是常用的且效果较好的一种特征加权方法。但是,它也存在着没有考虑特征项在类内和类间分布问题的不足。因此,如何解决文本文档特征项在类内和类间分布不均衡是TF/IDF特征加权方法亟待解决的问题。针对传统的TF/IDF算法存在的不足,本文提出了一种基于信息熵的TF/IDF特征加权算法。该算法依据信息熵的理论知识,将文本数据集视作符合某种规律分布的信息源。通过文本文档中特征项的信息熵来度量其在文本分类中所能提供的分类信息量(即分类能力)。算法中使用信息熵来度量特征项在文本分类过程中的重要程度,并把得到的程度信息反映到文本文档特征项的权重值大小当中。为了验证所提出的基于信息熵的TF/IDF算法的合理性和有效性,本文进行了三种类型的实验。分别考虑了不同形式语料库对实验结果的影响,特征项数量对实验结果的影响,不同的分类方法对实验结果的影响。同时,将本文提出的改进算法与传统的TF/IDF算法和其他改进的TF/IDF算法的分类结果进行了对比。结果表明,本文提出的方法在宏平均Fl指标和微平均F1指标上均好于传统的TF/IDF算法和其他改进的TF/IDF算法,并且对于不均衡数据集有较好的分类效果。

论文目录

• 摘要
• Abstract
• 目录
• 1 引言
• 1.1 研究背景及意义
• 1.2 国内外研究现状
• 1.2.1 国外研究现状
• 1.2.2 国内研究现状
• 1.3 本文的研究内容和结构
• 1.3.1 本文的研究内容
• 1.3.2 本文的结构
• 1.4 本章小结
• 2 相关理论及技术
• 2.1 符号约定
• 2.2 文本表示模型
• 2.3 文本分类流程
• 2.4 文本预处理
• 2.5 特征提取
• 2.6 现有特征加权方法
• 2.6.1 布尔权重
• 2.6.2 基于熵概念的权重
• 2.6.3 特征频率
• 2.6.4 TF/IDF方法
• 2.7 文本分类方法
• 2.7.1 Rocchio方法
• 2.7.2 支持向量机
• 2.7.3 KNN方法
• 2.7.4 朴素贝叶斯方法
• 2.8 本章小结
• 3 基于信息熵改进的TF/IDF算法
• 3.1 传统TF/IDF算法思想及所面临的问题
• 3.1.1 传统TF/IDF算法思想
• 3.1.2 传统TF/IDF算法面临的问题
• 3.2 基于信息熵的文本特征加权算法
• 3.2.1 信息熵
• 3.2.2 信息熵与特征加权的联系
• 3.2.3 基于信息熵的TF/IDF方法思想
• 3.2.4 基于信息熵的TF/IDF方法描述
• 3.2.5 基于信息熵的TF/IDF方法分析
• 3.3 本章小结
• 4 实验和性能分析
• 4.1 实验数据集
• 4.2 文本分类模型设计
• 4.3 实验评估方法
• 4.4 实验设计
• 4.4.1 不同形式语料库对实验结果的影响
• 4.4.2 特征项数量对实验结果的影响
• 4.4.3 不同的分类方法对实验结果的影响
• 4.4.4 与已有的特征加权算法比对
• 4.5 实验结果分析
• 4.6 本章小结
• 5 总结及未来工作展望
• 5.1 本文研究工作总结
• 5.2 研究前景展望
• 参考文献
• 致谢
• 个人简历、在学期间发表的学术论文与研究成果