Web漏洞扫描系统中的智能爬虫技术研究

论文摘要

针对Web安全问题，目前最常用的技术是采用Web漏洞扫描系统进行检测。网络爬虫是Web漏洞扫描器重要组成部分，负责抓取站点的页面信息，为Web漏洞扫描器提供数据源及扫描入口。网络爬虫是一个智能抓取网页的程序，论文主要研究网络爬虫技术。所做的主要工作包括以下几部分：1）介绍了网络爬虫及其采用的爬行策略，论述了通用爬虫、聚集爬虫、深层爬虫三种典型网络爬虫技术，详述了聚集爬虫使用的几个重要网页分析算法，分析了已有的基于爬虫技术的Web漏洞扫描系统。2）通过对扫描对象特点的分析，提出了一种基于属性标签的Web数据挖掘的算法。即利用网页的所有标签，构造带有属性标签的DOM树；通过属性标签对子树做比较，发现标签序列的重复模式；制定了三个规则排出干扰模式，找到数据区域，用向量记录包含有用数据的重复模式；通过向量提取出数据记录。验证该方法有效性的实验对象是卓越网各类目，从实验的数据可以发现，该方法可以卓越网页中提取出大约90%的数据，正确率与覆盖率都很高。3）基于属性标签的Web数据挖掘的方法可以挖掘很多网页的重复数据，但对重复模式只具备相似性不具备一致性的网页不起作用。针对这个问题，提出了一种基于编辑距离的Web数据挖掘算法。把树编辑距离转化为字符串编辑距离的计算，利用字符串编辑距离评价树的相似度，进而找到网页中的重复模式，提取数据。通过针对不同重复模式特征的网页的实验说明，该算法不仅能挖掘具有特征一的网页的数据，也能挖掘具有特征二的网页的数据，能把20个百度贴吧网页包含的1000个数据都提取出来。4）最后设计并实现了一个智能爬虫程序。详述了各个模块功能，绘制了各个模块的流程图。根据流程图用Java编程实现，并用实验证明模块达到预定的功能。该爬虫将论文提出的新算法运用于爬虫策略制定，能很好地从交互性强的站点如电子商务、贴吧、论坛等抓取出网页。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 选题的背景
• 1.2 国内外研究现状及意义
• 1.2.1 研究现状
• 1.2.2 研究意义
• 1.3 论文的主要内容与组织结构
• 第二章 网络爬虫相关技术
• 2.1 网络爬虫基本概念
• 2.2 网页抓取策略
• 2.2.1 深度优先策略
• 2.2.2 广度优先策略
• 2.2.3 最佳优先策略
• 2.3 网络爬虫分类
• 2.3.1 通用爬虫
• 2.3.2 聚焦爬虫
• 2.3.3 深度爬虫
• 2.4 Web 漏洞扫描系统中的爬虫
• 2.5 本章小结
• 第三章 智能爬虫的爬行策略探索
• 3.1 Web 漏洞扫描系统概述
• 3.2 基于属性标签的 Web 数据挖掘
• 3.2.1 已有 Web 数据挖掘的方法
• 3.2.2 基于属性标签的 Web 数据挖掘的方法提出
• 3.3 建立带属性标签的 DOM 树
• 3.3.1 HTML 页面预处理
• 3.3.2 建立 DOM 树
• 3.4 挖掘数据域
• 3.4.1 识别重复模式
• 3.4.2 排除干扰重复模式
• 3.4.3 重要性函数
• 3.5 实验与分析
• 3.6 本章小结
• 第四章 应用于 Web 数据挖掘的编辑距离
• 4.1 树结构编辑距离
• 4.1.1 树的编辑配对
• 4.1.2 树编辑距离的算法
• 4.1.3 空间复杂度分析
• 4.1.4 时间复杂度分析
• 4.2 字符串编辑距离
• 4.2.1 字符串编辑距离
• 4.2.2 字符串编辑距离算法
• 4.2.3 算法改进
• 4.2.4 算法优化
• 4.2.5 相似度函数
• 4.3 实验与分析
• 4.4 本章小结
• 第五章 智能爬虫设计与实现
• 5.1 智能爬虫设计
• 5.1.1 编程环境
• 5.1.2 智能爬虫概述
• 5.2 下载页面收集模块
• 5.2.1 模块详述
• 5.2.2 实验演示
• 5.3 解析模块
• 5.4 提取 URL 模块
• 5.4.1 基于属性标签的 Web 数据挖掘算法实现
• 5.4.2 基于属性标签的 Web 数据挖掘算法演示
• 5.4.3 基于编辑距离的 Web 数据挖掘算法实现
• 5.4.4 基于编辑距离的 Web 数据挖掘算法演示
• 5.5 本章小结
• 第六章 总结与展望
• 致谢
• 参考文献
• 附录