基于本体的语义文本分类研究

论文摘要

文本分类在很多文本挖掘和信息检索系统中发挥着重要的作用,可以改善检索性能、提供导航/浏览机制及发现相似文本等。文本分类的研究已成为数据挖掘中一个非常重要的课题。文本分类的首要问题是文本数据的数学表示。目前多数文本分类算法都是以向量空间模型为基础的。这种文本表示方法非常简单,但却引发了高维稀疏的问题;而且基于向量空间模型的分类算法都没有很好地解决文本数据所特有的两个自然语言问题:近义词和多义词。所有这些问题都极大地干扰了文本分类算法的效率和准确性,使文本分类的性能下降。尽管人们提出通过向量空间权重调整和降维来解决上述问题,但是这些方法都有自身的缺点。向量空间权重调整法实际上并没有有效地解决以上问题,它只能非常有限地提高文本分类的性能。降维法虽然解决了高维稀疏问题,但是降维的代价一般都非常大。为了避免上述问题的产生,本文结合《知网》,提出了语义特征向量文本表示法和文本间语义相似度的计算方法。最后,对基于语义简单向量距离、语义k-NN和语义SVM三类中文文本分类算法进行了测试。经实验证明,在三类语义分类算法中,语义SVM分类算法的性能比其他两个都好;此外,语义文本分类算法比传统的文本分类算法具有更高的F1值。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景和意义
• 1.2 文本分类概述
• 1.2.1 文本分类的定义
• 1.2.2 文本分类的应用
• 1.2.3 文本分类面临的挑战
• 1.2.4 文本分类方法
• 1.2.5 基于本体的语义文本分类
• 1.2.6 文本分类的一般过程
• 1.3 研究现状和课题来源
• 1.3.1 研究现状
• 1.3.2 课题来源
• 1.4 论文工作
• 1.5 论文结构
• 第二章 文本的语义数学模型表示
• 2.1 文本预处理
• 2.1.1 字符编码转换
• 2.1.2 中文文本分词
• 2.1.3 停用词过滤
• 2.2 文本表示模型
• 2.2.1 向量空间模型
• 2.2.2 文本的语义特征向量表示
• 2.3 权重算法
• 2.3.1 传统的权重算法
• 2.3.2 基于本体的义原权重算法
• 2.4 维数消减的基本概念和主要途径
• 2.4.1 特征选择
• 2.4.2 特征抽取
• 2.5 本章小结
• 第三章 文本的语义相似度计算方法
• 3.1 《知网》概述
• 3.1.1 《知网》的结构
• 3.1.2 《知网》的知识描述语言
• 3.2 语义相似度概念
• 3.2.1 相似度的定义和影响因素
• 3.2.2 语义相似度的概念
• 3.3 语义相似度的计算方法
• 3.3.1 义原间的语义相似度计算
• 3.3.2 单词间的语义相似度计算
• 3.3.3 句子间的语义相似度计算
• 3.4 本章小结
• 第四章 语义文本分类算法和分类性能评估
• 4.1 基于本体的语义文本分类算法
• 4.1.1 语义简单向量距离算法
• 4.1.2 语义k-NN算法
• 4.1.3 语义支持向量机算法
• 4.2 分类性能评估
• 4.2.1 影响文本分类系统评价的因素
• 4.2.2 评价方法
• 4.3 本章小结
• 第五章 语义文本分类系统的设计和实验结果
• 5.1 语义文本分类系统框架设计
• 5.1.1 语义文本分类的基本思想
• 5.1.2 分类器的构造
• 5.2 系统实现及运行环境
• 5.3 实验结果及分析
• 5.3.1 语料库对分类性能的影响
• 5.3.2 特征维数和维数消减方法对分类性能的影响
• 5.3.3 分类算法对分类性能的影响
• 5.3.4 语义权重算法对分类性能的影响
• 5.4 本章小结
• 第六章 结论与展望
• 6.1 总结
• 6.2 展望
• 参考文献
• 致谢
• 研究成果及发表的学术论文
• 作者和导师简介
• 北京化工大学硕士研究生学位论文答辩委员会决议书