基于主题的Deep Web搜索引擎研究与探索

论文摘要

Internet的飞速发展,为我们提供了海量的信息资源。但目前传统的搜索引擎能够检索的仅仅是World Wide Web中的一小部分,大量的Deep Web信息对这些搜索引擎是不可见的。这些信息隐藏在Web页面的搜索表单后面,保存在大型的动态数据库中。用户必须通过查询表单在线访问其后端的Web数据库才能获得这些信息。有效地把Deep Web信息加以利用是一个比较富有挑战性的课题。本文首先介绍了通用搜索引擎的一般原理,定量地分析了Deep Web的概况,并在此基础上对构建基于某一主题的Deep Web搜索引擎所涉及到的三个主要模块(表单抽取、查询处理、结果抽取)进行了分析研究,同时阐述了相关算法。本文的主要研究内容包括:1.讨论了Deep Web的定义,在分析Deep Web工作原理的基础上给出了基于某一主题Deep Web搜索引擎的总体设计思路和实现技术。2.研究了表单抽取模块中的Deep Web站点发现策略,通过对不同结构表单页面的分析,提出了查询表单元素的统一表示方法。3.分析了目前存在查询表单抽取方法,结合同一主题元素模板视觉的相似性,采用竞争分类法对表单元素值进行抽取,实验证明抽取效果比较理想。4.研究了元素间的相似度算法,通过计算表单元素之间的相似度,排列数据源与用户查询的相关性,从而选择出该领域内与用户查询最相关的数据源。5.设计了一个查询转换器,有效地解决了用户查询接口与数据源之间的元素映射问题。6.分析了目前存在的Web页面抽取技术,通过构建正则表达式和样本模板,对半结构化的结果页面进行抽取,将抽取的信息保存到本地数据库。为了验证文中涉及方法的有效性,本文设计了一个基于职位查询主题的Deep Web搜索引擎,对51job.com及Chinahr.com进行了抽取实验。结果表明,竞争分类法和情景模式的引入,简化了抽取方法,提高了抽取的查准率。

论文目录

• 摘要
• Abstract
• 第一章 引言
• 1.1 论文研究背景
• 1.2 Deep Web 研究现状
• 1.3 论文的研究目的和意义
• 1.4 论文的主要内容和结构
• 1.4.1 论文的主要内容
• 1.4.2 论文的组织结构
• 第二章 Deep Web 搜索引擎
• 2.1 搜索引擎概述
• 2.1.1 通用搜索引擎工作原理
• 2.1.2 通用搜索引擎性能评价指标
• 2.1.3 通用搜索引擎常见分类
• 2.2 Deep Web 搜索引擎
• 2.2.1 Deep Web 定义
• 2.2.2 Deep Web 的特点
• 2.3 Deep Web 搜索引擎的技术分析
• 2.3.1 Deep Web 搜索引擎的工作原理
• 2.3.2 Deep Web 搜索引擎与通用搜索引擎的区别
• 第三章 JDW 总体设计
• 3.1 JDW 的总体设计
• 3.1.1 系统设计思路
• 3.1.2 系统体系结构
• 3.1.3 系统功能模块划分
• 3.2 系统运行结果
• 第四章 JDW 查询表单抽取
• 4.1 查询表单发现
• 4.1.1 查询表单发现方法
• 4.1.2 判别查询表单的技术难点
• 4.1.3 查询表单发现实验
• 4.2 查询表单模式抽取
• 4.2.1 目前现存的抽取方法
• 4.2.2 抽取方法的关键技术与难点
• 4.3 JDW 查询表单抽取算法描述
• 4.3.1 查询表单表示
• 4.3.2 信息分类与模板
• 4.3.3 信息的特征表示与提取
• 4.3.4 特征抽取算法
• 4.3.5 样本与信息片段间的相似度分析
• 4.4 实验结果与分析
• 4.4.1 元素值脚本抽取
• 4.4.2 元素值分类抽取
• 第五章 JDW 查询处理
• 5.1 Web 数据源选择
• 5.1.1 现有Web 数据源选择方法
• 5.1.2 数据源选择算法
• 5.2 查询转换
• 5.2.1 为什么进行查询转换
• 5.2.2 查询转换设计
• 5.3 查询提交
• 5.4 实验及结果分析
• 第六章 JDW 查询结果抽取
• 6.1 现有的查询结果的抽取策略
• 6.2 JDW 结果页面抽取算法描述
• 6.3 实验及结果分析
• 6.3.1 详细信息页面Url 生成
• 6.3.2 JDW 结果页面抽取实现过程
• 6.3.3 查询结果处理效果分析
• 结论与展望
• 参考文献
• 致谢