基于Web的信息抽取技术研究

论文摘要

随着互联网的快速发展和普及,人们越来越依赖于网络获取信息。作为海量的信息来源,Web可以看成是一个巨大的数据库,包含着各种各样有价值的信息。基于Web的信息抽取技术就是研究如何从这些Web源中抽取出用户感兴趣的信息,并把这些抽取出的信息表示成更具有语义,更为结构化的形式,以便加以利用。该技术起源于信息抽取技术,但由于Web信息的自身特点,该技术已经和传统的基于纯文本的信息抽取技术有了很大的不同。目前,大量Web信息被保存在网站的后台数据库中,这些信息在网页上的显示有一些共同的特征,即通常把数据库中的数据插入到网页的一个模板中,其表现形式就是网页的主体部分有多个局部信息块组成,局部信息块有多个数据项构成。这类网页被称为数据密集型（data-rich）网页,由于该类网页富含大量有价值的信息,因此,研究如何对这类网页进行Web信息抽取有重大的意义和实用价值。对于上述数据密集型网页,本文采用基于XML的相关技术来解决Web信息的抽取问题。其解决方案是:首先获得目标网页,并将该HTML文档以文档对象模型DOM为中介,转换为形式上的XML文档,然后根据这类网页的特征,把该网页中信息的布局视为基于行和列的二维表形式,用户根据自身需求,通过与系统交互,系统半自动地生成基于行和相关列的XPath位置路径表达式作为抽取规则,根据抽取规则定位到待抽取的信息,从而实现信息的准确抽取,抽取的结果用XML来表示。本文开发了一个原型系统,系统能够完成对数据密集型网页和新闻网页的信息抽取,实验表明本文的系统具有一定的实用价值。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景
• 1.2 研究意义
• 1.3 本文研究内容
• 1.4 论文结构安排
• 第2章 Web信息抽取概述
• 2.1 Web信息抽取的发展历史
• 2.2 Web信息抽取的定义和Web信息的特点
• 2.3 Web信息抽取技术分析
• 2.3.1 基于正则表达式的信息抽取
• 2.3.2 基于自然语言处理的信息抽取
• 2.3.3 基于本体的信息抽取
• 2.3.4 基于包装器归纳的信息抽取
• 2.3.5 基于HTML结构的信息抽取
• 2.3.6 基于Web查询的信息抽取
• 2.4 本章小结
• 第3章 基于XML技术的Web信息抽取
• 3.1 概述
• 3.1.1 问题的提出
• 3.1.2 网页的格式及XML技术的优势
• 3.2 Web信息抽取流程
• 3.3 相关技术介绍
• 3.3.1 DOM模型
• 3.3.2 XPath
• 第四章 基于XML技术的Web信息抽取的实现
• 4.1 Web文档的预处理
• 4.1.1 将HTML文档解析为DOM模型
• 4.1.2 将HTML文档转换为形式上的XML文档
• 4.2 抽取规则
• 4.2.1 抽取规则的设计
• 4.2.2 抽取规则的生成
• 4.3 信息抽取
• 4.4 附加语义
• 4.5 抽取规则的优化
• 4.5.1 利用标记属性进行优化
• 4.5.2 利用标记之间的数量关系进行优化
• 4.5.3 对新闻信息抽取规则进行优化
• 第五章 原型系统和实验
• 5.1 原型系统的介绍
• 5.1.1 开发平台和工具
• 5.1.2 操作界面和功能介绍
• 5.2 信息抽取的评价标准
• 5.3 实验结果及分析
• 结论
• 本文总结
• 下一步工作
• 致谢
• 参考文献
• 攻读硕士学位期间发表的论文