搜索引擎中网页净化与消重技术研究

论文摘要

互联网的飞速发展导致数字化信息呈爆炸式增长。搜索引擎作为帮助人们在海量信息中寻觅所需信息的工具,其重要性与日俱增。然而,由于网页噪音和重复网页的存在,搜索引擎的检索结果中存在着大量的冗余信息,使得搜索引擎的服务质量降低。因此,如何快速准确地去除网页噪音和重复网页成为一个亟待解决的问题。本文深入研究了搜索引擎中网页净化与消重的技术。首先分析了网页噪音及网页重复对搜索引擎的影响；然后介绍了网页噪声和网页重复的相关概念及特点,研究了网页净化与消重的经典算法,并分析了这些算法的优点和不足。在网页净化方面,根据同一网站的网页结构布局基本相同的特点,提出了一种新的基于树编辑距离的网页净化算法。该算法利用树编辑距离和严格自顶向下映射原理,以最小的代价检测网站的模板,并将该模板作为噪音信息从网页中去除。实验结果表明,该算法在保证网页主题内容完整的同时,有效的去除了网页噪音。在网页消重方面,针对web上网页重复的现象,提出了一种新的基于信息指纹的网页消重算法。该算法为了排除噪音的干扰,将网页净化技术融入算法中,并充分利用网页文本的内容和结构信息来提取网页特征,然后结合信息指纹技术,实现了重复网页的去除。实验结果表明,该算法在保证较高准确率的情况下,具有更高的召回率。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题背景
• 1.2 课题提出及意义
• 1.3 本文的研究内容
• 1.4 本文的组织结构
• 第二章 相关工作
• 2.1 网页净化与消重
• 2.1.1 网页噪音
• 2.1.2 网页重复
• 2.2 网页净化技术
• 2.2.1 单一页面网页净化
• 2.2.2 同一模板网页净化
• 2.3 网页消重技术
• 2.3.1 完全重复网页消重
• 2.3.2 近似重复网页消重
• 2.4 本章小结
• 第三章 基于树编辑距离的网页净化
• 3.1 树编辑距离
• 3.2 网页净化方法
• 3.2.1 网页预处理
• 3.2.2 标签树构建
• 3.2.3 模板生成与去除
• 3.3 实验
• 3.3.1 评测标准
• 3.3.2 实验设置
• 3.3.3 实验结果与分析
• 3.4 本章小结
• 第四章 基于信息指纹的网页消重
• 4.1 网页消重方法
• 4.1.1 网页特征抽取
• 4.1.2 信息指纹生成
• 4.1.3 重复网页判定
• 4.2 实验
• 4.2.1 评测标准
• 4.2.2 实验设置
• 4.2.3 实验结果与分析
• 4.3 本章小结
• 第五章 总结与展望
• 5.1 总结
• 5.2 展望
• 参考文献
• 致谢