Web超链分析及其在搜索引擎中的应用研究

论文摘要

随着Internet的高速发展和快速普及,Web上可以获取的信息也在急剧增加。由于无法浏览全部的Web文档,所以人们往往求助于搜索引擎来查找所需的信息。Web超链分析技术可以提高搜索引擎的查准率,因此成为网络应用和信息检索方向的研究热点。介绍了搜索引擎的分类、发展历程、原理和评价指标,概括了超链分析技术在搜索引擎中的重要作用。阐述了目前最著名的超链分析算法PageRank和HITS,分析了它们存在的问题,发现主题漂移是影响性能的主要因素。与HITS相比,PageRank在稳定性和适用性上更胜一筹,更适合于大规模的搜索引擎。因此PageRank算法是本文的重点研究对象。对PageRank算法进行了深入的探讨,在分析了国内外主要的改进算法的基础上,对PageRank缺点和改进方法进行总结归纳,从不同的角度提出了两种改进方法。从超链的创建动机和实际作用进行分析,发现超链的实际作用差别比较大。同时受到网页分类的启发,引入了超链分类概念。根据不同的类别分配不同加权,提出了基于超链分类的HC-PageRank改进算法。为了验证算法,在Nutch上开发了基于HC-PageRank的链接分析工具,实验证明,HC-PageRank的查准率高于传统的PageRank算法。在对PageRank计算过程研究的基础上,发现PageRank值不具备语义性。根据HITS在线聚类原理,在查询时根据查询词的语义进行PageRank调整,提出了基于超链内容PageRank调整算法。为了验证算法,在Nutch上开发了基于超链内容PageRank调整算法的聚类插件。实验证明,基于超链内容的PageRank调整算法可以提高搜索引擎的查准率。

论文目录

• 摘要
• Abstract
• 第一章 前言
• 1.1 课题的背景与意义
• 1.2 国内外研究现状
• 1.3 论文研究内容
• 1.4 论文组织结构
• 第二章 搜索引擎与超链分析
• 2.1 搜索引擎技术
• 2.1.1 搜索引擎的定义及分类
• 2.1.2 搜索引擎的发展历程
• 2.1.3 搜索引擎的工作原理
• 2.1.4 搜索引擎的评价指标
• 2.1.5 开源搜索引擎Nutch
• 2.2 超链分析
• 2.2.1 PageRank及其衍生算法
• 2.2.2 HITS及其衍生算法
• 2.2.3 超链分析研究和发展方向
• 2.3 本章小结
• 第三章 基于超链分类的PageRank改进算法
• 3.1 PageRank回顾与分析
• 3.2 基于超链分类的PageRank改进算法
• 3.3 简单的超链分类算法
• 3.4 本章小结
• 第四章 基于超链内容的PageRank调整算法
• 4.1 PageRank分析
• 4.2 基于超链内容的PageRank的改进策略描述
• 4.3 改进算法描述
• 4.4 本章小结
• 第五章 基于Nutch平台的实验设计
• 5.1 开发工具和平台
• 5.2 Nutch的索引结构与排序机制
• 5.2.1 Nutch的数据结构
• 5.2.2 Nutch排序机制
• 5.3 实验系统结构设计
• 5.3.1 PageRank在Nutch中的应用
• 5.3.2 超链分类PageRank改进算法的验证系统设计
• 5.3.3 链接调整PageRank算法的验证
• 5.4 结果及分析
• 5.5 本章小结
• 总结
• 主要工作
• 主要创新点
• 存在的问题及未来的方向
• 参考文献
• 在学期间的研究成果
• 致谢