基于支持向量机的多类文本分类研究

论文摘要

随着计算机信息技术的高速发展,英特网上的电子文档信息急剧增加,如何对大量文本信息进行挖掘,尤其是按照预先定义好的语义对它们进行正确的类别判断,已经成为组织管理大量文本信息的一个重要问题,它就是文本挖掘中很关键的一类任务——文本分类。支持向量机（Support Vector Machine,SVM）是由Vapnik等人在上世纪九十年代提出的一种建立在统计学习理论基础之上的模式识别方法,是借助于最优化方法解决机器学习问题的新工具。SVM集成了稀疏解、最大间隔超平面、松弛变量、Mercer核和凸二次规划等技术。由于支持向量机具有结构简单、全局最优、推广能力强等优点,最近几年在模式识别以及文本分类等领域得到了广泛的研究与应用。但是SVM最早是针对两类分类问题提出的,如何有效的将标准两类SVM分类问题扩展到多类分类问题并应用于多类文本分类是本文研究的重点。本文在对文本挖掘的相关概念、过程以及方法等问题进行阐述的基础上,对目前具有代表性的SVM多类分类方法进行了深入的研究以及优缺点对比后,提出了一种改进的决策导向无环图支持向量机多类分类算法,并把改进后的决策导向无环图支持向量机用于多类文本分类。本文的主要研究工作以及创新点在于:①阐述了文本挖掘的理论与技术,并重点研究了文本分类,着重对支持向量机分类算法进行了基本理论以及算法原理上的阐述,并对SVM应用于分类挖掘时的主要研究进展做了分析,由此引出SVM多类别分类算法的研究,然后介绍了目前存在的基于SVM的多类别分类方法,包括“一对一”、决策导向无环图支持向量机方法、“一对多”、M-ary支持向量机、基于二叉树的SVM多类分类等,分析了它们的性能并比较了它们的优缺点。②着重研究了决策导向无环图的多类SVM分类算法,在目前决策导向无环图支持向量机分类器生成顺序随机化的基础上,提出了一种决策导向无环图的改进策略,引入类内的分散度,以基于样本分布的类间不可分离程度作为类别的划分顺序,最终构成了一种分类间隔较大的决策导向非循环图支持向量机分类算法。③在标准UCI多类数据集上,通过数值实验对改进后的决策导向无环图支持向量机方法与改进前的决策导向无环图支持向量机算法的分类效果进行比较,实验结果表明本文的方法具有更高的准确率。

论文目录

• 中文摘要
• 英文摘要
• 1 引言
• 1.1 问题提出及研究的意义
• 1.2 文本分类的国内外研究现状
• 1.3 本文的研究内容
• 1.4 本文的组织结构
• 2 文本挖掘的理论与技术
• 2.1 数据挖掘
• 2.1.1 数据挖掘的定义
• 2.1.2 数据挖掘的任务及方法
• 2.1.3 数据挖掘的过程
• 2.2 文本挖掘
• 2.2.1 文本挖掘介绍
• 2.2.2 文本挖掘的过程
• 2.3 文本挖掘关键技术
• 2.3.1 文本聚类
• 2.3.2 文本分类
• 2.4 文本分类的研究
• 2.4.1 文本分类的任务
• 2.4.2 文本分类的过程
• 2.4.3 文本分类算法
• 2.5 本章小结
• 3 支持向量机分类算法
• 3.1 支持向量机概述
• 3.2 SVM 的基本思想
• 3.3 非线性可分情形
• 3.4 SVM 的应用
• 3.4.1 文本分类
• 3.4.2 图像识别
• 3.4.3 手写数字识别
• 3.4.4 基因表达
• 3.5 支持向量机的主要研究进展
• 3.6 本章小结
• 4 一种改进的多类支持向量机分类方法
• 4.1 现有的SVM 多类分类方法
• 4.1.1 一次性求解方法
• 4.1.2 1-v-r SVM
• 4.1.3 1-v-1 SVM
• 4.1.4 DDAG SVM
• 4.1.5 “二叉树”方法
• 4.1.6 “纠错编码”方法
• 4.1.7 M-ary 支持向量机
• 4.2 SVM 多类分类方法的比较分析
• 4.3 一种改进的DDAG-SVM 方法
• 4.3.1 类间不可分离程度
• 4.3.2 算法设计
• 4.4 本章小结
• 5 实验与结论
• 5.1 实验环境与实验数据
• 5.2 文本分类性能评价指标
• 5.3 实验结果与分析
• 6 总结与展望
• 6.1 总结
• 6.2 下一步的工作
• 致谢
• 参考文献
• 附录
• A. 作者在攻读学位期间发表的论文目录
• B. 作者在攻读硕士学位期间所参与的科研课题