WEB文本模糊分类及其预处理的研究与实现

论文摘要

随着Internet的迅速发展,尤其是World Wide Web的全球普及,Web上信息资源已涵盖了社会生活的各个方面,网络信息过载问题日益突出。处理海量数据的一个重要方法就是将它们分类。网页的自动分类是信息检索领域的一个很重要的研究方向。通过自动分类不仅仅可以将网页按照类别信息分别建立相应的数据库,提高搜索引擎的查全率和查准率,而且可以建立自动的分类信息资源,为用户提供分类信息目录。论文系统阐述并实现了一套Web文本分类的技术。主要研究工作包括:(1)Web文本预处理,这里先对天网数据的特点对其解压缩特点做了详细介绍,针对其特点进行解压缩,作为后续工作的准备材料。然后,详细介绍HTML Parser这一工具包,对如何使用HTML Parser提取Web文本进行各种信息的流程做了介绍,并使用HTML Parser对已有数据进行解析。(2)中文分词,首先简单介绍常用的中文分词算法,并对它们进行了比较,本系统使用的是常用的最大匹配分词算法。然后介绍未登录词的识别,采用将命名实体和新词一体化识别策略对未登录词进行识别,这是本人的工作重点之一。实验证明,系统实现的分词算法可以达到很好的分词效果,在准确性和速度上基本上都满足了文本分类的需要。(3)文本特征向量的提取。介绍特征项权重计算常用的方法TF*IDF,分析TF*IDF存在的几点不足,针对其不足,提出将TF*IDF与χ2统计,以及特征项的类内频率结合,然后重新计算文本特征向量的权重,形成训练文本。在实现分类之后对改进的特征项提取方法做了实验验证,结果证实该法确实能提高分类准确率。(4)使用双隶属度模糊SVM方法进行文本训练和文本分类。介绍SVM的基本理论、目前SVM方法在文本分类中的应用情况,以及模糊支持向量机理论。根据模糊支持向量机在文本分类上的特点,系统提出一种改进的模糊支持向量机:双隶属度模糊支持向量机,之后针对实际使用情况提出了更进一步的改进算法——双隶属度多类模糊支持向量机,从而将其扩展到多类分类上。通过对分类实验的结果分析来看,该改进算法基本上达到了预期的效果。总之,本文实现了Web文本获取、Web文本预处理、中文分词、特征向量提取、文本训练和文本分类等Web文本分类的关键技术。

论文目录

• 摘要
• Abstract
• 第一章 引言
• 1.1 本论文的研究背景和意义
• 1.2 Web 分类的国内外研究现状
• 1.3 本文的创新点
• 1.4 系统功能概述
• 1.4.1 系统结构框架
• 1.4.2 系统设计
• 1.5 论文的组织安排
• 第二章 Web 文本挖掘
• 2.1 Web 挖掘
• 2.1.1 Web 挖掘的定义
• 2.1.2 Web 挖掘的特点
• 2.1.3 Web 挖掘的分类
• 2.2 Web 文本挖掘
• 2.2.1 Web 文本挖掘的定义
• 2.2.2 Web 文本挖掘主要研究内容
• 2.2.3 Web 文本挖掘的过程
• 2.3 本章小结
• 第三章 Web 挖掘预处理
• 3.1 Web 文本收集
• 3.1.1 天网数据存储格式定义
• 3.1.2 天网数据解压的实现
• 3.2 Web 文本解析
• 3.2.1 HTML 标记的去除
• 3.2.2 Web 文本预处理器的实现
• 3.3 中文分词
• 3.3.1 常用中文分词算法
• 3.3.2 未登录词的识别
• 3.3.3 设计实现与分析
• 3.4 本章小结
• 第四章 文本特征向量提取
• 4.1 向量空间模型
• 4.2 常用的特征抽取方法
• 4.3 TF*IDF
• 4.3.1 特征项频率
• 4.3.2 特征项倒排文档频率
• 4.3.3 传统TF*IDF 的不足
• 4.3.4 TF*IDF 的改进
• 4.4 本章小结
• 第五章 文本分类
• 5.1 支持向量机
• 5.1.1 最优分类面
• 5.1.2 线性情况
• 5.1.3 非线性情况
• 5.2 支持向量机的进一步研究
• 5.2.1 SVM 训练算法
• 5.2.2 核函数及选择
• 5.3 SVM 方法在文本分类中的应用
• 5.4 双隶属度多类模糊支持向量机
• 5.4.1 模糊支持向量机
• 5.4.2 多类支持向量机
• 5.4.3 双隶属度模糊支持向量机
• 5.4.4 双隶属度多类模糊支持向量机
• 5.5 实验结果及分析
• 5.6 本章小结
• 第六章 结束语
• 6.1 本文的主要工作和贡献
• 6.2 下一步的工作和展望
• 参考文献
• 致谢
• 个人简历、在学期间发表的学术论文与研究成果