文本分类中特征选择方法的研究

论文摘要

文本分类是大规模文本处理的基本功能,也是提高其他文本处理功能和质量的有效手段。通过文本分类,人们可以按类别进行文本存储、检索和进一步处理。因此,迅速有效地对文本进行分类已成为一项重要的研究课题。在文本分类中,特征空间的维数高达几万,过大的特征空间会导致样本统计特性的评估变得困难,从而降低分类器的泛化能力,因此从原始特征集中选取最具有代表性的特征是十分必要的。有效的特征选择可以提高分类任务的效率和分类性能。本文在分析典型文本分类系统的核心技术、系统结构的基础上,给出了一种基于语义概念的分析方法。语义概念分析方法可以看作是一种扩展的向量空间模型方法,其特征提取算法是通过结合Hownet对词所表示的概念,将词空间映射到概念空间,通过多义词排歧和同义词合并,达到降维的目的,并尽量达到词与词之间的正交性,将文本的关键词用更小的语义空间进行表示,使得在新生成的语义空间中的相关文本更为接近。另外,在传统TF-IDF权重计算算法的基础上,综合考虑特征词的位置、同现频率的语义因子和特征支持度、类别强度的语义概念,增强了特征对文本内容的表现和区分能力,并将综合了TF-IDF与语义因子和语义概念的权重改进算法应用到分类系统中。本文设计并实现了一个中文文本分类系统,通过实验对改进的特征选择和权重计算算法与传统统计算法进行了比较分析,实验结果表明改进的特征选择算法和权重计算算法对分类性能都有一定的提高,具有较高的精确率和召回率。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 研究背景
• 1.2 研究意义
• 1.3 国内外研究现状
• 1.4 本文研究内容
• 2 文本分类相关技术
• 2.1 定义和特点
• 2.1.1 文本分类的定义
• 2.1.2 文本分类任务的特点
• 2.2 文本分类的流程
• 2.3 文本预处理
• 2.3.1 中文分词
• 2.3.2 去除停用词
• 2.4 特征提取
• 2.4.1 基于评估函数的特征提取方法
• 2.4.2 考虑相关性的特征提取方法
• 2.4.3 语义特征提取
• 2.5 文本表示
• 2.5.1 基本思想
• 2.5.2 表示模型
• 2.6 分类算法
• 2.6.1 K-最近邻分类算法
• 2.6.2 朴素贝叶斯分类算法
• 2.6.3 支持向量机分类方法
• 2.7 文本分类器的测试和评价
• 2.7.1 语料库
• 2.7.2 测试方法
• 2.7.3 文本分类器的评价
• 3 基于知网的语义概念特征提取
• 3.1 语义概念特征提取的基本思想
• 3.2 知网概述
• 3.3 基于知网的语义概念特征提取
• 3.3.1 语义概念在特征特取中的应用
• 3.3.2 词义消歧
• 3.3.3 概念聚类
• 3.3.4 算法描述与分析
• 3.4 分类系统的实现
• 3.4.1 分类系统的体系结构
• 3.4.2 分类系统的主要算法流程
• 3.4.3 分类系统主要图形用户界面
• 3.5 实验与结果分析
• 3.5.1 实验平台
• 3.5.2 实验语料
• 3.5.3 实验步骤
• 3.5.4 实验结果与分析
• 3.6 本章小结
• 4 基于语义的权重计算
• 4.1 基于向量空间模型的文本表示
• 4.2 经典的特征项权重计算方法及不足
• 4.3 改进的语义权重计算方法
• 4.3.1 应用语义信息的特征权重计算过程
• 4.3.2 语义因子加权
• 4.3.3 语义概念加权
• 4.3.4 算法描述与分析
• 4.4 实验与结果分析
• 4.4.1 实验设计
• 4.4.2 实验结果与分析
• 4.5 本章小结
• 5 总结
• 5.1 总结
• 5.2 下一步的工作展望
• 致谢
• 参考文献
• 附录