搜索引擎下Web分类技术研究

论文摘要

随着互联网技术的发展，人们进入了信息化的时代。在这个信息化的时代，信息就意味着财富，如何有效快速获得准确的、有价值的信息成为关键环节。当前，Web上出现了大量的、结构不同的信息资源，并且这些资源大都以Web文本形式存在，而这些Web资源中包含了大量对人们有价值的信息，怎样从海量的Web资源中提取出有效信息成为信息处理领域亟待解决的问题。Web文本分类技术是在现有的文本分类理论和技术基础上发展起来的，它利用了文本分类理论知识和现有的成熟的分类技术。Web文本分类摒弃了原始的人工分类方式，节省了大量的人力，物力等，能够有效提高用户检索的速度，并对检索结果准确分类，它已成为信息处理领域的研究热点。本文介绍了课题的研究背景和国内外研究现状，并阐述了文本分类相关的理论和技术。通过总结学习文本分类相关的理论知识，在分析网页的结构特点的基础上，对课题的解决有了一个较为清晰的思路：首先进行利用网络机器人进行网页采集，提取网页中的文本信息，然后对得到的文本信息进行预处理，转换为文本格式，最后构造分类器，利用分类算法实现Web文本的分类。在处理过程中提出了基于信息块的去噪方法，利用文本频率和χ2统计相结合的方法选择特征项，最后利用多分类决策支持向量机实现文本分类，并提出了分类搜索引擎的设计思路。通过实验设计对本文提出的理论方法进行验证，实验表明在信息抽取、Web分类结果上都有较高的准确性。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 课题的研究背景和意义
• 1.2 国内外研究现状
• 1.2.1 文本自动分类技术的研究现状
• 1.2.2 网页自动分类的研究现状
• 1.3 本文的主要工作
• 1.4 论文的结构安排
• 2 文本分类理论基础与关键技术
• 2.1 文本分类概述
• 2.2 文本表示模型
• 2.2.1 文本特征
• 2.2.2 向量空间模型
• 2.3 文本特征选择
• 2.3.1 互信息（MI）
• 2.3.2 文档频率（DF）
• 2.3.3 信息增益（IG）
• 2.3.4 χ 2统计（CHI）
• 2.3.5 交叉熵（Expected Cross Entrophy）
• 2.3.6 文本证据权值（Weight of Evidence for Text）
• 2.3.7 Fisher 判别式
• 2.4 文本分类方法
• 2.4.1 支持向量机（Support Vector Machine， SVM）
• 2.4.2 朴素贝叶斯（Na ve Bayes）
• 2.4.3 K 最近邻算法（K Nearest Neighbor， KNN）
• 2.5 分类性能评估标准
• 3 Web 文本的采集与信息抽取
• 3.1 Web 的基本结构和特点
• 3.1.1 Web 的组织结构
• 3.1.2 页面信息分析
• 3.1.3 Web 文本信息的特点
• 3.1.4 网页的噪音
• 3.2 Web 信息的采集
• 3.2.1 Web 页面采集策略
• 3.2.2 多线程处理
• 3.3 信息抽取
• 3.3.1 信息抽取概述
• 3.3.2 数据抽取评价指标
• 3.4 基于 DOM 的信息提取方法
• 3.4.1 DOM
• 3.4.2 HTML 解析
• 3.4.3 Web 信息抽取
• 4 基于改进的决策支持向量机多类分类方法
• 4.1 文本预处理
• 4.1.1 分词
• 4.1.2 基于 DF 和 CHI 相结合的特征选取
• 4.2 支持向量机
• 4.2.1 支持向量机原理
• 4.2.2 最优化问题
• 4.2.3 二分类问题
• 4.2.4 多分类问题
• 4.2.5 核函数及选择
• 4.3 决策树
• 4.3.1 决策树的生成
• 4.3.2 决策树的优缺点
• 4.4 SVM 和决策树相结合的分类方法
• 4.5 实现结果分析
• 5 分类搜索引擎设计
• 5.1 概述
• 5.2 搜索引擎分类
• 5.3 搜索引擎系统设计
• 5.4 核心技术
• 5.4.1 网络爬虫
• 5.4.2 索引系统
• 5.4.3 信息抽取
• 5.5 文本分类器的设计思想
• 结论
• 参考文献
• 在学研究成果
• 致谢