基于短文本的分类算法研究

论文摘要

短文本指的是长度较短,通常不超过100个字符,内容精炼内聚的文本,例如新闻标题和手机短信息都是典型的短文本。由于海量信息资源的出现,采用人工方式进行管理越来越不切实际。分类可以在一定程度上解决网上信息杂乱的现象,方便用户准确地定位所需的信息和分流信息,文本分类则有助于用户有选择地阅读和处理海量文本。短文本分类与普通文本分类有很大的不同,本文将针对短文本的特殊性,对短文本分类算法进行研究。新闻标题和手机短信这两类典型的短文本将作为本文的研究重点。通过对短文本特有规律以及相关领域的深入分析,本文将包括基于短文本的多分类以及一类分类算法的研究。本文将以具有确定分类标准的短文本分类为应用背景,利用基于统计学方法对短文本进行词频统计,同时利用基于支持向量机(SVM)的分类技术,评价短文本与类别的相关关系。本文将短文本的多分类算法和一类分类算法的算法实现和精度提高作为主要研究方向。多分类算法指的是:对于给定的文本和已知的类别集合(多于一个),确定给定文本所属的类别。一类分类算法指的是:对于给定的文本和一个类别,确定给定文本属于这一类别的概率。在介绍多分类算法的过程中将以文本新闻标题的分类算法作为研究对象;在介绍一类分类算法的时候将以手机短信息的分类算法作为研究对象。本文的特点是充分利用短文本的独有特点,确定短文本与类别相关程度,在现有文本分类方法的基础上做出了适当改进,经过实验和参数调整,多分类算法和一类分类算法在训练集内部的分类准确率超过98%的情况下,多类分类算法平均准确率超过了86%,一类分类算法的平均准确率超过了90%,取得了较好的分类效果。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 选题背景及意义
• 1.2 国内外现状综述
• 1.3 自然语言处理（NLP）的概念
• 1.4 统计自然语言处理
• 1.5 中文信息处理的特别之处
• 1.6 研究内容
• 1.7 本章小结
• 第二章 文本分类算法
• 2.1 已有文本分类方法的总结
• 2.1.1 N-Gram 算法
• 2.1.2 线性分类器
• 2.1.3 KNN（k-Nearest Neighbor）算法
• 2.2 文本的向量化算法
• 2.2.1 VSM（向量空间模型）简介
• 2.2.2 TF/IDF 算法
• 2.3 支持向量机SVM
• 2.3.1 统计学习理论
• 2.3.2 支持向量机基本原理
• 2.3.3 常用支持向量机训练算法
• 2.3.4 支持向量机多类分类算法
• 2.4 本章小结
• 第三章 短文本分类算法实现
• 3.1 短文本的特点研究
• 3.1.1 新闻标题特点分析
• 3.1.2 手机短信息特点分析
• 3.1.3 短文本规律的总结
• 3.2 短文本多分类算法的实现
• 3.2.1 可选择的算法比较
• 3.2.2 基于新闻标题的文本分类算法的构思
• 3.3 一类分类算法的实现
• 3.4 本章小结
• 第四章 实验结果及分析
• 4.1 多类分类算法程序的参数确定与测试分析
• 4.1.1 LIBSVM 方法的分析
• 4.1.2 第一种实现方法的分析
• 4.1.3 典型例子的分析
• 4.1.4 算法的综合评价
• 4.2 一类分类算法程序的参数确定与测试分析
• 4.2.1 结论分析
• 第五章 短文本分类算法的项目应用
• 5.1 项目简介
• 5.1.1 架构描述
• 5.2 文本识别模块（TEXTMODULE）的实现
• 5.2.1 文本识别模块的整体设计
• 5.3 短文本分类算法的实现
• 5.3.1 整句识别算法
• 5.3.2 手工筛检关键词表
• 5.3.3 快速SVM 算法
• 5.3.4 算法的整合
• 5.3.5 进一步想法
• 5.4 本章小结
• 第六章 总结与展望
• 6.1 主要结论
• 6.2 研究展望
• 参考文献
• 谢辞
• 攻读硕士学位期间已发表或录用的论文
• 上海交通大学硕士学位论文答辩决议书