吃玩网中Deep Web数据集成研究

论文摘要

随着互联网的发展,涌现出大量同类网站(例如房产网、吃玩网、旅游网等),由于各个网站间信息的孤立性,人们为获得有效信息不得不游离于各个网站之间。虽然,像谷歌、雅虎、百度等(称为传统搜索引擎)提供搜索服务的网站也可以搜索出不同网站中的信息,但它们的爬虫只能从一个链接爬行到另一个链接。这样,新的网页要从旧的网页中发现,如果一个网页不被别的网页索引,那么就永远不能被发现,从而形成了Deep Web。传统搜索引擎爬虫的爬行特点决定对于Deep Web中的信息一筹莫展,此外传统搜索引擎还存在信息主题性不强、信息冗余和爬行周期过长等问题。因而传统搜索引擎从一定程度上已经无法满足人们的需求。本文针对传统搜索引擎的种种不足,在信息集成的基础上,综合传统搜索引擎的技术,设计了基于领域本体的Deep Web爬虫模型。并在此模型的基础上,提出了一个面向吃玩类网站Deep Web数据集成框架—DWDIS。围绕着这个模型和框架,对其中涉及的若干关键问题进行了深入的研究,并对其设计和实现进行了初步的探讨,实现了一个基于DWDIS的吃玩易搜系统,对DWDIS框架进行了初步的实现和应用验证。本文主要的研究内容和创新工作包括:1.建立了面向特定领域的Deep Web爬虫的爬行模型,并以此为本文的理论基础。该模型在传统搜索引擎的爬虫模型基础上,根据搜索Deep Web内容的需求,增加了特有的工作步骤。该爬虫的主要任务是分析网页中是否含有搜索表单,在本体的帮助下,对表单中的搜索表单进行识别、分析和试填提交,并且对返回的结果进行分析。而传统搜索引擎爬虫的任务是不断的从一个链接爬向另一链接,并在爬行过程中,对链接的网页下载,进行索引存储。2.在Deep Web爬虫的模型基础上,建立了一个面向用户的、应用于吃玩类网站Deep Web数据集成框架—DWDIS。该框架中广泛的应用了信息集成中的模块和技术,建立吃玩类商家本体,使系统能够在本体管理器的管理下顺利运行。3.在Deep Web爬虫模型内,对其中的环节进行了关键部分的实现工作,并讨论了关键部分的实现算法。在模型中,与传统爬虫相同的环节没有进行讨论,重点讨论了不同环节的实现。包括标签与表单元素的匹配算法、表单元素与本体属性的映射、表单填写的质量标准以及衡量方法。最后,还分析了结果返回页面信息抽取的困难以及克服困难的一些方法。4.对本文提出的模型和方法进行了关键部分的实现工作,建立了一个基于DWDIS的吃玩易搜系统,以吃玩类网站Deep Web数据集成为应用背景,对本文工作进行了验证。通过这些实际的开发和验证工作,为进一步的研究,并使之在更多领域的广泛应用奠定了一定的实验基础。5.在基于DWDIS的吃玩易搜系统中提出了活动地图的概念,并对活动地图的生成显示以及用户交互进行了实现。为了方便用户的交互,本系统采用了异步刷新技术。使本系统通过修改本体,就可以运用在其它与地理信息相关的领域。本文针对解决传统搜索引擎的问题,对如何有效的搜索出吃玩类网站DeepWeb中的信息进行了探索性的研究,希望为该问题的解决提供一种有效的思路和方法。本文的课题基础也是目前信息集成领域应用比较广泛的技术,不但为互联网领域的信息搜索提供了思路和方法,同时也为信息集成领域提供了一定的帮助。这使本文课题研究既具有探索性的理论研究价值,也具有较大的应用价值和现实意义。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 Deep Web相关技术国内外的研究现状
• 1.2.1 传统搜索
• 1.2.2 Deep Web数据集成
• 1.3 课题研究的主要内容
• 1.4 本文所做的主要工作
• 1.5 本文的结构
• 第二章 吃玩类网站Deep Web数据集成框架 DWDIS
• 2.1 Deep Web数据集成框架
• 2.2 系统框架构成
• 2.3 工作过程
• 2.4 本章小结
• 第三章 领域本体的构建
• 3.1 本体构建
• 3.2 本体的学习
• 3.3 本章小结
• 第四章 Deep Web爬虫的设计和实现
• 4.1 Deep Web爬虫的工作过程
• 4.2 Deep Web爬虫的实现
• 4.2.1 构建领域本体
• 4.2.2 表单中的元素概述
• 4.2.3 表单的建模
• 4.2.4 值域的建模
• 4.2.5 标签与元素的匹配
• 4.2.6 表单元素与本体属性的映射
• 4.2.7 表单的试填
• 4.2.8 结果页面的分析
• 4.3 本章小结
• 第五章 DWDIS系统运行实验
• 5.1 系统的运行过程和效果
• 5.2 标签和元素域值的抽取实验
• 5.3 爬行性能的衡量
• 5.4 爬行性能的分析
• 5.5 本章小结
• 第六章 结论与展望
• 6.1 本文主要工作总结
• 6.2 未来工作的展望
• 6.3 本章小结
• 参考文献
• 致谢
• 攻读硕士学位期间发表的学术论文目录
• 获奖情况
• 在读期间参与科研项目情况
• 学位论文评阅及答辩情况表