基于支持向量机的文本分类器设计与实现

论文摘要

伴随着互联网的普及和电子商务应用的广泛深入,人们在享受网上冲浪的同时,也陷入了信息过载的困境,用户在大量的信息中难以找到自己需要的信息,商家也难以掌握网络上对自家商品的评论信息。由此,文本分类系统应运而生。文本分类器是文本分类系统的一个重要组成部分,具有良好的发展和应用前景,逐渐成为一个重要的研究内容。基于支持向量机的文本分类器是目前的研究重点,在很多方面较其他的分类器显示出突出的优势。但是基于SVM的文本分类器的还不够成熟,仍然存在一些问题,如系统的扩展性问题、使用的简易性和时间因素问题等。本文主要是对基于支持向量机的文本分类器的研究。本文首先通过查阅文献,总结了现有的文本分类器的特点,然后介绍了支持向量机和文本分类的基本理论,对文本分类器有了清晰的认识,最后是文本分类器的设计与实现部分。文本分类器主要包括三个部分：1、文本缩减经过分词和句法分析得到的文本信息做一些简单的缩减处理,则在进行文本训练和文本预测的时候能够改善结果。对文本数据进行缩减的目的在于：①避免一些特征范围过大而另一些特征范围过小。②避免在训练时为了计算核函数而计算内积的时候引起数值计算的困难。2、文本训练文本训练的主要目的就是构造文本分类器。训练过程是通过学习给定的文本分类体系相关的信息,使用特征权重算法计算出的特征项权重来构造出文本分类器,这样文本分类器就具有了区分既定类别的功能,也就建立起了分类模型。3、文本预测文本预测的关键就是构建的文本分类器必须是分类准确的。现在有很多文本分类器,在不同领域取得了很好的效果。如何更加客观的评价—个分类器的性能,是值得研究的方向之一。另外,本文还在最后通过实验对文本分类器的分类效果进行了评测和比较。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 研究背景及意义
• 1.2 国内外研究现状分析
• 1.3 论文的组织结构
• 2 支持向量机理论
• 2.1 统计学习理论
• 2.1.1 VC维
• 2.1.2 结构风险最小化原理
• 2.2 支持向量机
• 2.2.1 最优超平面
• 2.2.2 广义最优超平面
• 2.2.3 核函数
• 3 文本分类
• 3.1 文本分类
• 3.2 文本预处理
• 3.2.1 中文分词
• 3.2.2 停用词处理
• 3.3 特征处理
• 3.3.1 特征提取
• 3.3.2 特征权重
• 3.4 文本表示
• 4 文本分类器系统设计开发
• 4.1 系统开发环境
• 4.2 系统设计目标
• 4.3 系统需求分析
• 4.3.1 可行性分析
• 4.3.2 系统的业务流程
• 4.4 系统功能概述
• 4.4.1 文本缩减处理
• 4.4.2 文本训练
• 4.4.3 文本预测
• 5 文本分类器实现及结果分析
• 5.1 系统实现
• 5.1.1 文本分类器平台简介
• 5.1.2 文本缩减、训练和预测
• 5.2 结果分析
• 6 总结与展望
• 6.1 总结
• 6.2 展望
• 参考文献
• 后记