面向Deep Web响应页面的模式识别的研究

论文摘要

随着信息技术的不断发展,Web上的信息量呈爆炸性增长。按照所蕴含信息深度的不同,可以将Web划分为Surface Web和Deep Web两大类。其中,Deep Web是指那些存储在Web数据库里、不能通过超链接访问而需要采用动态网页技术访问的资源集合。一些统计数据表明：Deep Web蕴含的信息量、对Deep Web的访问量、增长速度等都远远高于Surface Web。因此,随着Web数据库的不断增长,通过对Deep Web的访问逐渐成为获取信息的主要手段,能够自动地获取蕴含在Deep Web中丰富的数据资源并对其进行大规模集成显得尤为重要。当今查询Web信息的主要手段是借助搜索引擎,而传统搜索引擎只能爬取到SurfaceWeb信息,对于大量由Deep Web产生的动态数据不是索引的数据不全就是过时。因而搜索引擎对Deep Web的支持越来越成为广大用户的需求。而由于Deep Web的自身特点,又使实现这一需求在技术上存在很大的难度。本文从实际出发,分析了Deep Web查询接口及其响应页面的特点,基于Deep Web自身的特点提出了一种基于Deep Web搜索引擎架构,描述了其架构设计,并且详细叙述了在预处理子系统中提出的两种用于抽取相应模式的算法,即基于询问式和基于输入接口式的输入模式抽取算法。实验表明,我们提出的两种方法在不同的情况下有很好的识别率,结合这两种算法可以很好的解决Deep Web输入接口的识别问题。为建立基于Deep Web的搜索引擎提供理论上的支持。

论文目录

• 摘要
• Abstract
• 第一章 引言
• 1.1 问题提出
• 1.2 国内外研究现状
• 1.3 本文的研究内容
• 1.4 本文的组织结构
• 第二章 相关概念与技术
• 2.1 Web相关技术
• 2.1.1 HTML
• 2.1.2 XML
• 2.1.3 DOM
• 2.1.4 Javascript
• 2.2 Web2.0概念
• 2.3 搜索引擎现状
• 2.4 本章小结
• 第三章 Deep Web搜索系统（DWSearch）设计
• 3.1 基本需求
• 3.2 DWSearch体系结构
• 3.3 预处理子系统
• 3.4 查询子系统
• 3.5 缓存子系统
• 3.6 本章小结
• 第四章 基于询问式输出接口模式识别
• 4.1 获取实例数据
• 4.1.1 获取响应页面
• 4.1.2 页面分析
• 4.1.3 抽取实例数据
• 4.2 匹配统一接口
• 4.2.1 相关定义
• 4.2.2 模式匹配策略
• 4.2.3 实例介绍
• 4.2.4 补充统一接口
• 4.3 本章小结
• 第五章 基于输入接口模式的输出接口模式识别
• 5.1 领域知识库模型与数据模式定义
• 5.1.1 领域知识库模型描述
• 5.1.2 领域知识预处理
• 5.1.3 数据模式定义
• 5.2 基于查询实例的查询探测
• 5.2.1 生成数据源查询请求
• 5.2.2 基于DOM的结果页面模型
• 5.3 基于实例的模式匹配方法
• 5.4 基于实例模式匹配方法的扩展
• 5.5 本章小结
• 第六章 实验分析
• 6.1 实验设置
• 6.2 实验结果及分析
• 6.3 本章小结
• 第七章 总结及展望
• 7.1 本文主要工作
• 7.2 未来研究工作
• 参考文献
• 致谢
• 攻硕期间科研及发表论文情况