Deep Web数据抽取和语义标注技术研究

论文摘要

Web数据库根据用户提交的请求,将其内容以HTML页面的形式动态呈现出来,这些信息称之为Deep Web资源。而HTML语言的特点是在Web上发布的,内容多样,形式各异,使得Web上的数据处于杂乱无序的状态,给数据集成系统的建立造成了极大的困难。因此,需要通过各种技术手段将网页中的无结构或者半结构化数据抽取出来。同时为了使抽取获得的数据具有更高的使用价值,这些数据应该被应用程序所理解,必须为其添加语义注释。本文重点分析了Deep Web数据抽取和语义标注的已有技术,并在此基础上分别提出了一种基于模板的数据抽取方法和一种基于包装器的语义标注方法,最后整合上述研究模块,设计和实现了一个面向求职领域的垂直搜索引擎系统。本文主要研究的内容包括:(1)研究如何从一系列同模板生成的网页中检测出其背后的模板,并利用模板将嵌入的数据自动抽取出来。给出了模板生成问题的形式化描述,提出了一种新颖的模板生成方法,并利用生成的模板从实例网页中抽取数据。与现有方法相比,该方法能适用“列表页面”和“详细页面”两种类型网页。通过在多个领域实例站点上实验,说明新方法在不降低已有方法准确率的情况下能进一步提高抽取的召回率。(2)为了准确且完整地对抽取的数据进行语义标注,提出一种基于包装器的语义标注方法。该方法利用多个标注源进行组合标注,有效解决了单标注源标注率不高问题;同时针对标注不完全问题,提出了利用多个数据源的互补关系进行标注;最后生成高效率的标注包装器对抽取结果自动标注。实验结果证明,该方法提高了标注的准确率和效率。(3)设计和实现了一个面向求职领域的垂直搜索引擎系统,并将上文提出的技术在该搜索引擎上的应用做了分析。实际应用表明,该系统可以取得较好的效果。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.3 论文的研究重点
• 1.4 论文的结构安排
• 第二章 工作基础
• 2.1 Deep Web数据集成概述
• 2.1.1 集成查询接口生成模块
• 2.1.2 查询处理模块
• 2.2 Web数据抽取技术
• 2.2.1 Web数据抽取技术的分类
• 2.2.2 数据抽取对象的特点
• 2.3 语义标注技术
• 2.3.1 语义标注技术的分类
• 2.3.2 现有方法的不足
• 2.4 本章小结
• 第三章 基于模板的Deep Web数据抽取
• 3.1 相关技术
• 3.1.1 正则表达式
• 3.1.2 简单树匹配比较法
• 3.2 模板生成问题描述
• 3.3 模板生成
• 3.3.1 *树的生成
• 3.3.2 *树的合并
• 3.3.3 模板的生成
• 3.4 Web数据抽取
• 3.5 本章小结
• 第四章 基于包装器的Deep Web语义标注
• 4.1 问题描述
• 4.2 总体流程
• 4.3 包装器生成
• 4.3.1 数据对齐
• 4.3.2 组合标注
• 4.3.3 同步标注
• 4.3.4 标注规则集生成
• 4.4 Deep Web语义标注
• 4.5 本章小结
• 第五章 垂直搜索引擎系统设计与实现
• 5.1 垂直搜索引擎介绍
• 5.2 系统框架
• 5.3 核心模块
• 5.3.1 数据抽取模块
• 5.3.2 索引模块
• 5.3.3 标注模块
• 5.4 系统实现
• 5.5 本章小结
• 第六章 实验与结果分析
• 6.1 评价标准
• 6.2 Deep Web数据抽取和语义标注实验
• 6.2.1 Deep Web数据抽取实验
• 6.2.2 Deep Web语义标注实验
• 6.3 本章小结
• 第七章 总结与展望
• 7.1 工作总结
• 7.2 今后的研究工作
• 致谢
• 参考文献
• 攻读学位期间公开发表的的学术论文