企业搜索引擎中网页分类技术的研究与实现

论文摘要

近十年来,互联网信息呈现了爆炸式的增长。互联网的迅猛发展使得我们跳出了本地的局限,可以随意访问世界上所有的在线文本。在这种背景下,企业中的网页信息也随着企业规模的扩大而逐渐增加。如何有效的组织和管理这些信息,成为了目前急需解决的问题。搜索引擎的确可以帮助用户将网络信息本地化,但是在组织和管理企业内部网页信息等方面的功能却很有限。因此,设计和实现一个网页分类器帮助企业快速地组织和分类网页信息是十分必要的。本文对网页分类中所涉及的特征提取方法和网页分类算法进行了研究。首先,提出了基于词性的特征提取方法和SWT权重计算方法,该特征提取方法将提取出对文本分类有意义的实词,过滤掉一些无用的虚词和停用词,降低了特征项的维数,提高了文本分类的效率；对于特征权重的计算,并没有采用传统的TF-IDF公式,而是提出了新的计算特征项权重的方法,即SWT方法。其次,提出了改进的KNN算法,该方法与原有方法相比提高了分类的召回率和分类速度。再次,提出了结合文本结构的向量空间模型算法,该算法主要是针对网页文本的特殊性,将网页文本的结构与向量空间模型相结合。最后,基于以上两种分类算法设计并实现了网页分类器。本文首先对企业搜索引擎进行了介绍,其次讲述了文本分类的相关技术,包括文本表示模型、常用的特征提取方法和文本分类算法（KNN,支持向量机,类中心向量,贝叶斯等）,再次研究了新的特征提取方法和网页分类算法,对于特征项权重的计算,提出了新的计算特征项权重的方法,即SWT方法。最后根据提出的算法设计和实现了网页分类器。经过测试,表明以上提出的方法,不仅在分类的准确率和召回率方面有所提高,而且提高了网页分类的速度,符合企业搜索引擎中自动分类的需要。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景
• 1.2 研究现状
• 1.3 研究内容
• 1.4 本文结构
• 第二章 企业搜索引擎介绍
• 2.1 企业搜索引擎与普通搜索引擎的区别
• 2.2 企业搜索引擎的基本需求
• 2.3 企业搜索引擎系统结构
• 2.3.1 互联网搜索引擎体系结构
• 2.3.2 企业搜索引擎的体系结构
• 2.4 搜索引擎的评价标准
• 2.5 本章小结
• 第三章 文本分类的理论和技术研究
• 3.1 文本分类的概念
• 3.1.1 文本自动分类过程
• 3.1.2 网页分类过程
• 3.2 文本表示
• 3.2.1 文本特征
• 3.2.2 文本表示模型
• 3.3 文本的特征提取
• 3.3.1 文档频率
• 3.3.2 信息增益
• 3.3.3 互信息
• 2统计法'>3.3.4 χ²统计法
• 3.3.5 基于词性的特征提取算法
• 3.4 文本分类算法
• 3.4.1 基于统计的方法
• 3.4.2 基于规则的方法
• 3.4.3 人工神经网络方法
• 3.4.4. 结合文本结构的向量空间模型分类算法
• 3.4.5 基于特征项权重的改进KNN算法
• 3.5 文本分类的评估
• 3.6 本章小结
• 第四章 网页分类器的实现
• 4.1 网页预处理的实现
• 4.1.1 网页表示
• 4.1.2 特征项权重的计算
• 4.1.3 分词和词性标注
• 4.2 网页分类器的设计与实现
• 4.2.1 结合文本结构的向量空间模型网页分类器
• 4.2.2 基于特征项权重的改进KNN网页分类器
• 4.3 本章小结
• 第五章 实验设置与结果分析
• 5.1 实验评测标准
• 5.2 文本特征提取
• 5.3 网页分类器性能
• 5.3.1 实验项目
• 5.3.2 实验步骤
• 5.4 实验结果及分析
• 5.5 本章小结
• 第六章 结论
• 参考文献
• 致谢
• 攻读硕士学位期间撰写的学术论文
• 攻读硕士学位期间参加的主要项目