中文网页定题采集及分类研究

论文摘要

网络正深刻地改变着我们的生活,Internet已经发展成为当今世界上最大的信息库,如何快速、准确地从浩瀚的信息资源中寻找到所需的信息已经成为网络用户的一大难题。因而基于Web的网上信息的采集和相关的信息处理日益成为人们关注的焦点。传统的Web信息采集所采集的页面数量过于庞大,所采集页面的内容过于杂乱,需要消耗非常大的系统资源和网络资源。同时Internet信息的分散状态和动态变化也是困扰着信息采集的问题。定题搜索引擎将信息检索限定在特定主题领域,就主题相关的信息提供检索服务,相应特定主题所需采集的网页数量极大减少且主题统一。与通用的搜索引擎相比较,定题搜索引擎由于检索的范围较小,查准率和查全率易于保证。本文所研究的就是建立定题搜索引擎的前期关键技术—Web信息定题采集及分类技术。全文的主要内容如下:通过对Web结构和Web链接特性的研究,分析了一些在定题Web信息采集过程中有用的规律。对元数据进行定义,讨论了几种基本的超链及其元数据类型。研究了网页信息抽取问题,分析了常见类型的元数据并确定了适合作为定题信息采集依据的元数据类型。讨论了如何基于元数据通过主题扩展得到主题相关词集,包括禁用词过滤、主题候选词的抽取及相关策略过滤等过程。重点研究了利用改进的Apriori算法,对元数据库进行关联挖掘抽取主题候选词,并给出了主题词关联挖掘和过滤,即主题扩展的迭代算法。实验证明,本文所提供的元数据处理策略,能很好地进行主题的抽取与扩展,为实现更有效的定题Web信息采集提供良好前提。给出了一个基于Web元数据的定题信息采集系统并加以描述。对经典的基于超链分析的相关性判别算法HITS和PageRank进行了描述和分析,给出了基于Web元数据的多种相关性判别算法,并利用Web元数据对HITS和PageRank算法进行了改进,提出了M-PageRank算法和M-HITS算法。测试了各种算法的性能并作了比较研究,实验验证了所提出的算法能为实现定题检索提供良好前提。讨论了文本分类的基础及Web网页在文本分类中的特性和特殊处理,将HTML文档用TFE表示,考虑半结构文档词条所处结构对分类的影响,修正了反映特征词在网页中的权重函数,引入扩展文本作为网页分类的内容补充。研究了既考虑文档结构又兼顾文档内容的改进的朴素贝叶斯和支持向量机Web网页分类方法,并通过实验验证了两种分类方法的良好效果。通过对Web定题采集和分类的研究,本文从技术和方法上做出了一些增强及改进,提出的方法及改进的算法取得了较好的实验效果,所得到的若干结论也具有理论和实践上的指导意义。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究的背景、目的和意义
• 1.2 Web信息采集
• 1.3 定题Web信息采集
• 1.4 Web网页分类
• 1.5 论文内容及组织
• 2 Web结构分析及信息抽取
• 2.1 引言
• 2.2 Web图结构
• 2.3 Web链接分析
• 2.4 元数据
• 2.5 信息抽取
• 2.6 元数据分析
• 2.7 本章小结
• 3 主题扩展
• 3.1 引言
• 3.2 禁用词过滤
• 3.3 主题候选词的抽取
• 3.4 相关策略过滤
• 3.5 主题扩展算法
• 3.6 实验
• 3.7 本章小结
• 4 定题采集
• 4.1 引言
• 4.2 定题信息采集系统
• 4.3 相关性判别算法
• 4.4 实验
• 4.5 本章小结
• 5 Web文档分类
• 5.1 引言
• 5.2 文本分类基础
• 5.3 Web文档特殊处理
• 5.4 改进的朴素贝叶斯分类
• 5.5 支持向量机分类
• 5.6 实验
• 5.7 本章小结
• 6 总结与展望
• 6.1 全文总结
• 6.2 研究展望
• 致谢
• 参考文献
• 附录1 攻读博士学位期间发表论文
• 附录2 攻读博士学位期间参与的科研项目