基于词和基本短语模式的特征提取方法

论文摘要

Internet的发展带动了信息的迅速增加,如何从海量的信息中快速有效地找到有用的信息,已经成为亟待解决的问题。文本信息的自动分析可以有效地解决这一问题,而文本信息自动分析中的一个主要技术就是文本分类。文本分类技术可以使用户按照自己的要求搜索到有用的信息,不仅大大提高了文本信息的利用率,还具有广泛的研究价值和商业价值。文本分类主要包括四个部分：文本预处理、特征提取、特征权重计算和分类器分类。其中特征提取是文本分类的关键,而消除语义歧义和降低向量空间维数是特征提取的难点。传统的文本分类方法都以词作为文本的特征进行提取,而单个词语所能涵盖的文本特征含义十分有限。本文改进了特征项单一性的缺点,提出了一种基于词和基本短语模式的特征提取方法。本文采用了对分词后的词语进行词性标注,并且使用同义词词林处理同义词和多义词的方法。即有效地消除了语义歧义,还降低了空间向量维数。本文用KNN分类器和SVM分类器分别进行了实验。实验结果表明,分类的准确率和召回率都得到了提高。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景及意义
• 1.2 研究现状
• 1.2.1 国内外研究现状
• 1.2.2 当前研究重点问题
• 1.3 本文的研究工作及组织
• 第2章 文本分类技术概况
• 2.1 文本分类的基本概念
• 2.2 文本分类的一般过程
• 2.3 文本预处理
• 2.3.1 中文分词
• 2.3.2 中文词性标注
• 2.4 文本表示
• 2.4.1 特征项的选择
• 2.4.2 布尔模型
• 2.4.3 向量空间模型
• 2.5 特征选取
• 2.6 权重计算
• 2.7 文本分类方法
• 2.7.1 k-近邻方法
• 2.7.2 支持向量机方法
• 2.8 本章小结
• 第3章 基本短语的识别
• 3.1 特征项类型的比较
• 3.2 基本短语的界定和语义分析
• 3.2.1 基本名词短语的界定
• 3.2.2 基本动词短语的界定
• 3.2.3 基本短语的语义分析
• 3.3 基本短语的分析流程
• 3.4 基本短语识别的实现
• 3.5 实验结果与分析
• 3.6 本章小结
• 第4章 基于词和基本短语模式的中文文本分类方法
• 4.1 基于词和基本短语模式的中文文本分类方法的实现
• 4.2 文本预处理
• 4.3 停用词处理和语义的消歧
• 4.3.1 停用词的处理
• 4.3.2 语义的消歧
• 4.4 特征选取
• 4.5 权重计算方法的改进
• 4.6 实验评估函数
• 4.7 实验结果及分析
• 4.7.1 实验数据
• 4.7.2 实验结果及分析
• 4.8 本章小结
• 第5章 结论与展望
• 5.1 结论
• 5.2 展望
• 参考文献
• 攻读硕士期间发表论文情况
• 致谢