基于广度优先的主题爬虫的设计与实现

论文摘要

随着互联网的迅猛发展,海量的互联网信息以井喷的形式爆发出来。在这些互联网信息中蕴含着非常丰富的商业机会和人类智慧。网络搜索应用而生,并迅速成为计算机科学一个研究热点,如何尽可能搜索到满足需要的信息一直是软件开发人员的追求目标,以大型搜索引擎公司为主导的广泛搜索已经发展的非常成熟。并能够提供各种围绕数据搜索的服务。与此同时,各种基于互联网信息挖去的实际工程研究也逐步展开。但是面向无差别搜索的搜索引擎提供的数据往往是还有许多与研究需求无关的数据,特别是充斥了各种广告和不相关链接的网页使得最后的搜索结果和使用者的预判大相径庭。本文就此最基于不同主题需求的搜索程序在不用应用实践中的具体使用给出一个工程化可操作的实现。本文首先借用当前成熟的文本分析技术,对网站的内容做价值分析,并对给出的连接给出打分,考虑到工程化的原因文章只对高价值的链接的网站做二次挖掘和内容爬取,使得网络链接中存在着主题内容高度聚集进行成主题云团,而在工程上又可以实现。其次,考虑到主题团和主题云团之间链接薄弱的“隧道现象”容易形成所谓的“暗网络”现象。本文利用广度优先算法和动态文本关联度阀值的方法,借鉴现在互联网上成熟的Nutch爬虫技术和ICTCLAS中文文本分析技术,通过对网页数据存储、URL消重性能的优化,实现了一个基于广度优先的主题爬虫。虽然在实际的使用过程中爬虫需要依靠爬虫管理员数据修正和数据训练,完成特定主题内容的爬取工作。但从实际结果来看相对单纯的人员爬取数据,效率高整体质量也相当不错。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 网络爬虫的研究现状
• 1.2 网络爬虫存在的问题
• 1.3 本文的主要工作
• 1.4 本文的篇章结构
• 第二章 网络搜索技术
• 2.1 本文技术设计思路
• 2.2 网络搜索程序概述
• 2.3 网络搜索中的隧道现象
• 2.3.1 隧道现象简介
• 2.3.2 隧道现象的一般解决策略
• 2.4 暗网络
• 2.4.1 暗网络简介
• 2.4.2 暗网分类
• 2.4.3 暗网的处理方法
• 2.5 网页内容分析
• 2.5.1 WEB页面的类型分析
• 2.5.2 WEB页面的表示分析
• 2.6 WEB页面分类模型
• 2.6.1 WEB页面分类模型
• 2.6.2 加权均衡的WEB页面分类
• 2.6.3 ICTCLAS简介
• 2.7 文本分析模块需求分析
• 2.7.1 文本分词功能
• 2.7.2 特征提取功能
• 2.8 开源爬虫
• 2.9 本文的工作流程
• 第三章 广度优先主题爬虫的需求分析
• 3.1 主题爬虫的需求分析
• 3.2 主题爬虫的需求建模
• 3.3 网页爬取模块需求分析
• 3.4 URL的消重的需求分析
• 3.4.1 标记树的建立流程
• 3.4.2 文和超级链接的提取流程
• 3.5 页面存储模块的需求分析
• 3.6 Nutch软件
• 第四章 基于广度优先主题爬虫的设计实现
• 4.1 网络搜索程序的总体架构
• 4.2 广度优先搜索方案实现
• 4.2.1 广度优先搜索算法
• 4.2.2 算法实现
• 4.3 网络搜索程序的主要数据结构
• 4.3.1 元数据
• 4.3.2 WEB页面内容
• 4.4 DNS缓存模块
• 4.5 线程池工作模块
• 4.6 URL分析模块
• 4.7 数据库设计
• 4.8 分词模块
• 4.9 基于广度优先方案搜索程序的特点
• 第五章 结论
• 5.1 同类程序比较
• 5.2 不足与展望
• 参考文献
• 致谢