搜索引擎重复网页检测技术研究

论文摘要

网络的飞速发展,给人们带来了一个信息的海洋,如何快速从中获取真正重要的信息变得至关重要,搜索引擎便是提供这种功能的一种工具。然而在搜索引擎返回的检索结果中,存在着大量的重复网页。这不仅严重影响了搜索引擎检索信息的效率,同时存储这些重复网页浪费了巨大的存储空间。而对于搜索引擎的用户而言,在检索含有大量重复网页的系统时,提供给用户的有效响应明显降低。因此,重复网页检测已成为搜索引擎提高检索效率与服务质量的关键技术之一。本文以搜索引擎的重复网页检测问题为研究背景,首先对现存的主要重复网页检测算法进行了深入的研究,总结了它们各自的优缺点;并以此为基础提出了一种基于语义的重复网页检测算法。该算法主要针对重复网页检测的两个关键环节进行优化。在文本预处理中,根据词语之间存在着大量的同义与近义的语义关系,增加了同义词与近义词的归并;在特征提取环节,从词语在文本中的语义角度出发,与传统方法相比,增加了词语的位置权值与长度权值;在特征比较环节,回避了传统方法对网页的两两比较,采用了二叉排序树的数据结构,比较的效率得到很大的提高。并针对如何对提取的关键词排序的问题,又提出了两种关键词排序方法,一种是按关键词权值排序的SORTw(Kd)方法,另一种是按关键词字母排序的SORTa(Kd)方法。为了验证所提出算法的有效性和效率,本文在Windows平台实现了一个重复网页检测的原型系统。运用此原型系统,进行了一系列的实验分析与总结,并验证了本文所提出的基于语义的重复网页检测算法及两种关键词排序方法均具有较高的准确率与召回率,与较低的时间与空间复杂度。进一步改进、完善以后,可望获得今后在实际当中的应用。

论文目录

• 摘要
• Abstract
• 1 引言
• 1.1 研究背景及意义
• 1.2 研究现状简介
• 1.3 本文主要研究工作
• 1.4 本文组织
• 2 相关理论和技术研究
• 2.1 重复网页的定义
• 2.2 常用重复网页检测算法
• 2.2.1 SCAM 算法
• 2.2.2 DSC 和DSC-SS 算法
• 2.2.3 I-Match 算法
• 2.2.4 全文分段签名算法
• 2.2.5 基于关键词匹配算法
• 2.2.6 基于特征码抽取算法
• 2.3 常用算法的性能分析
• 2.4 重复网页检测技术的关键环节
• 2.4.1 特征提取
• 2.4.2 特征比较
• 3 关键技术介绍
• 3.1 MD5 算法
• 3.2 二叉排序树
• 3.3 中文分词技术
• 3.3.1 中文分词的应用
• 3.3.2 中文分词的难点
• 3.3.3 中文分词的方法
• 3.3.4 ICTCLAS 汉语分词系统介绍
• 4 一种基于语义的重复网页检测算法
• 4.1 算法描述
• 4.1.1 关键词权值排序方法
• 4.1.2 关键词字母排序方法
• 4.2 预处理
• 4.3 词语权值计算方法
• 4.3.1 位置权值
• 4.3.2 长度权值
• 4.3.3 权值计算总公式
• 4.4 算法流程
• 4.5 算法分析
• 5 重复网页检测原型系统的设计及实验结果
• 5.1 原型系统的设计
• 5.1.1 系统的总体框架
• 5.1.2 系统的具体模块
• 5.1.3 基于语义的重复网页检测算法的实现
• 5.2 算法的评测
• 5.2.1 基准算法
• 5.2.2 实验数据集
• 5.2.3 评价指标
• 5.3 实验结果
• 5.3.1 运行环境
• 5.3.2 确定算法的最优参数
• 5.3.3 同基准算法的比较
• 6 结论与展望
• 6.1 结论
• 6.2 下一步研究工作
• 致谢
• 参考文献
• 附录1 （攻读学位期间发表论文目录）