信息集成系统中面向领域的Web信息抽取研究

论文摘要

互联网上信息爆炸,如何准确、快速地检索出所需的信息以及更有效的利用这些信息,成为亟待解决的问题。在信息集成系统IIS(Information Integration System)中,如何整合各种异质的Web数据源并对上层应用提供统一的接口,为系统提供了最广泛、最庞大和实时的数据,是Web信息抽取系统必须解决的问题。本文研究的重点包括Web信息抽取规则和抽取系统框架两部分,提出并实现了面向领域的信息抽取框架,对Web页面自适应地采用DOM和NLP的方法进行抽取。Wrapper的核心是抽取规则,即源映射目标模式的描述。本文提出的基于DOM映射的信息抽取方法,采用标准的XML技术操纵Web页面,通过归纳学习获取抽取规则,执行规则解释引擎获取抽取结果。对于非数据导向型的Web页面,引入NLP领域相关理论,结合Web页面标签的特点,将数据源转化为分词/分类处理,采用匹配触发的模式,在触发事件中计算语义距离来确定所需抽取的信息项。基于NLP的抽取方法弥补DOM映射方法的不足。在系统中对数据源进行预处理,利用信息熵检测并提取粗糙信息块。底层采用领域本体文件描述领域信息,映射于上层的抽取基本决策信息,以便于领域的切换。抽取结果存放于数据库中,并提供抽取的本体库,以供信息集成系统中其它模块使用。通过领域内的Web页面抽取试验,抽取结果验证了抽取算法和系统框架的有效性和可用性,具有可扩展研究和商业应用前景。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景
• 1.2 研究现状
• 1.3 论文的工作
• 第二章 IIS信息集成系统
• 2.1 信息集成简介
• 2.2 IIS信息集成系统
• 2.2.1 系统结构
• 2.2.2 系统的主要模块
• 2.3 Web信息抽取子系统
• 2.3.1 信息集成中Web信息抽取面临的挑战
• 2.3.2 面向领域的Web抽取系统框架
• 第三章 基于DOM的半结构抽取方法
• 3.1 相关技术
• 3.1.1 HTML
• 3.1.2 XML
• 3.1.3 XPath
• 3.2 基于DOM树映射的抽取方法
• 3.2.1 抽取规则建立的过程
• 3.2.2 映射规则自动创建
• 3.2.3 Web信息抽取的过程
• 3.3 抽取实验
• 3.4 抽取规则健壮性分析
• 3.4.1 基于DOM树路径
• 3.4.2 基于内容的定位
• 3.4.3 基于节点属性的定位
• 3.5 本章小结
• 第四章 基于NLP的无结构抽取方法
• 4.1 相关技术
• 4.1.1 分词/分类
• 4.1.2 JNI的转换
• 4.1.3 语义距离计算
• 4.2 基于NLP的抽取方法
• 4.2.1 词条抽取规则
• 4.2.2 抽取约束规则
• 4.2.3 抽取算法
• 4.3 基于NLP的抽取实验
• 4.4 本章小结
• 第五章 面向领域的Web信息抽取系统
• 5.1 抽取系统难点及目标
• 5.1.1 网页信息抽取的难点
• 5.1.2 网页信息抽取平台的目标
• 5.2 系统框架模块
• 5.3 详细工作流程
• 5.3.1 获取网页
• 5.3.2 页面信息块检测与提取
• 5.3.3 样本学习归纳规则
• 5.3.4 分词/分类处理
• 5.3.5 模板抽取规则生成
• 5.3.6 领域Ontology库建立与维护
• 5.3.7 Jena语义推导
• 5.3.8 半结构和无结构自适应提取
• 5.4 实验结果及结论
• 5.5 抽取规则的维护
• 第六章 总结与展望
• 致谢
• 参考文献
• 作者在读期间的科研成果