基于搜索引擎网页排序算法研究

论文摘要

随着互联网技术的快速发展,搜索引擎技术随之诞生。人们总是希望通过搜索引擎找到最相关、最权威的网页,而搜索引擎网页排序算法的好坏直接关系到用户能否找到这样的网页。所以搜索引擎网页排序算法已经成为衡量商业搜索引擎是否具有核心竞争力的技术之一。本文介绍了搜索引擎的发展历史和工作原理,分析了网页排序算法对搜索引擎性能的重要影响,同时深入研究了现有的经典PageRank算法与HITS算法以及国内外相关的改进算法,并从这些算法中吸取相关思想、分析其中不足,从而提出了新的改进算法SPR。现有的网页排序算法主要是基于网页链接结构分析,代表算法有PageRank与HITS,而基于网页链接的排序算法只解决了网页的权威性问题,很容易造成查询主题的漂移,因此本文从网页内容相关性角度来解决主题漂移问题。PageRank算法平均分配权重的方法是不合理的,因此本文提出了按照网页流行度来进行权重分配的方法。综合网页链接结构与网页内容两方面改进经典的PageRank算法,从而得出本文的SPR算法。该算法模型从链接结构上解决权威性问题,并且它比经典的PageRank算法在传递网页权重时更具合理性；同时从网页内容的角度解决了主题相关性问题,削弱了主题漂移现象。本文最后通过构造一个搜索引擎模拟器,并利用经典的PageRank算法与本文改进的SPR算法分别得出搜索结果。同时设计出一个评测标准,利用此标准对上述两种算法的实验结果进行评测,最后通过对比分析评测结果进而肯定改进的SPR算法。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景与意义
• 1.2 国内外相关技术发展现状
• 1.2.1 搜索引擎诞生
• 1.2.2 国外搜索引擎的发展
• 1.2.3 国内搜索引擎发展
• 1.2.4 搜索引擎网页排序研究现状
• 1.3 搜索引擎网页排序问题
• 1.4 本文研究内容
• 1.5 本文的组织结构
• 第2章 搜索引擎概述
• 2.1 搜索引擎概念
• 2.2 搜索引擎分类
• 2.3 搜索引擎的体系结构
• 2.3.1 爬行器
• 2.3.2 分析器
• 2.3.3 索引器
• 2.3.4 检索器
• 2.3.5 用户接口
• 2.4 搜索引擎性能指标
• 2.5 本章小结
• 第3章 经典搜索引擎网页排序算法研究
• 3.1 基于内容的排序
• 3.1.1 向量空间模型VSM
• 3.1.2 空间模型VSM优缺点
• 3.2 基于链接分析的排序
• 3.2.1 PageRank算法
• 3.2.2 HITS算法
• 3.3 排序算法效率研究
• 3.3.1 查全率
• 3.3.2 查准率
• 3.3.3 相关性排序
• 3.4 本章小结
• 第4章 综合改进的网页排序算法
• 4.1 经典算法的缺点
• 4.1.1 PageRank算法缺点
• 4.1.2 HITS算法的缺点
• 4.2 HITS算法与PageRank算法的比较
• 4.3 现有的改进算法
• 4.3.1 加速评估改进的PageRank算法
• 4.3.2 Hilltop算法
• 4.3.3 主题敏感PageRank算法
• 4.4 基于网页链接与内容综合改进后的SPR算法
• 4.4.1 基于网页内容改进
• 4.4.2 等级沉淀修补
• 4.5 SPR算法效率
• 4.6 本章小结
• 第5章 实验系统建立与结果分析
• 5.1 实验系统的构造
• 5.1.1 网页搜集模块
• 5.1.2 网页处理模块
• 5.1.3 SPR算法离线计算模块
• 5.1.4 索引与查询模块
• 5.2 实验结果及其分析
• 5.2.1 实验环境
• 5.2.2 实验数据
• 5.2.3 实验的评测标准
• 5.2.4 相关测试结果
• 5.2.5 SPR算法与TCPageRank算法实验结果比较
• 5.2.6 实验数据分析
• 5.3 本章小结
• 第6章 结论与展望
• 6.1 结论
• 6.2 展望
• 参考文献
• 攻读硕士学位期间发表的论文和取得的科研成果
• 致谢