基于领域本体的Deep Web数据源聚焦技术研究

论文摘要

当今,全球正处于信息知识爆炸式发展的时代。因而互联网作为重要的信息载体,其信息容量也在急剧膨胀。目前Web的信息结构按照其分布和位置特征可以将其划分为Surface Web与Deep Web两部分。相比Surface Web, Deep Web具有信息量更大、信息质量更好、主题更专一以及结构性更强等特点。目前,关于Deep Web信息集成的研究越来越受到关注,而Deep Web数据源聚焦技术正是这项研究的首要前提与核心内容之一,本文在对以往Deep Web信息集成及DeepWeb数据源发现技术学习的基础上,针对在判别Deep Web查询接口页面与查询接口表单特征时,提取精度低且忽略领域主题词汇语义信息而造成的领域相关Deep Web查询接口表单遗漏的问题,提出了一种基于领域本体的Deep Web数据源聚焦方法。本体作为语义网的重要技术之一,其良好的概念层次结构和对逻辑推理的支持,以及通过关系表达语义的能力,能够从语义层次上理解Web页面与查询接口的主题内容,提高领域DeepWeb分类的准确率。本文设计了基于领域本体的Deep Web聚焦爬虫框架和Deep Web数据源查询接口识别分类框架,通过两个框架的协同合作共同实现了对领域主题相关Deep Web查询接口页面表单的提取。论文主要的研究工作以及创新点如下：（1）本文重点介绍了本体相关知识并分析了领域本体的组成结构,根据领域本体的构建方法并结合旅游领域相关Deep Web查询接口表单特征,以OWL 2作为编码语言,构建了旅游领域本体。（2）本文通过国内外研究者的成果说明领域本体知识对领域信息特征描述的重要作用,加之对Web聚焦爬虫的搜索机制进行分析,阐明了将领域本体管理模块引入Deep Web聚焦爬虫中的可行性以及指导爬虫进行主题Web页面爬行的优势,提出了基于领域本体的Deep Web聚焦爬虫框架。（3）本文结合本体中概念的层次特点与语义关系,构建了领域本体管理模块,在该模块中提出了利用本体概念树中主题概念与其上下文概念间语义关系构造的主题相似度综合得分计算方法,并以此作为Deep Web聚焦爬虫对Web页面的特征信息构建特征向量的依据。从而达到准确的识别出领域主题相关的表单页面的目的。（4）本文结合PageRank算法对URL的主题相关性计算进行了改进,并提出了结合页面主题相关度与URL主题相关度的URLs特征优选模块方案。（5）本文提出了一种识别Deep Web查询接口的方法,利用该方法对Web页面中的表单进行结构特征提取,利用这些特征根据D-T算法构造规则树,从而实现了对Deep Web查询接口表单的有效识别。（6）本文将领域本体管理模块与Deep Web查询接口分类模块结合,根据查询接口属性特征与本体属性特征的相似性分析,提出了本体主题概念子树中主题概念与其主题情景属性的相似度综合得分计算方法,并以此作为Deep Web查询接口分类模块对Web查询接口特征信息构建特征向量的依据。从而达到更加细化的识别出领域子主题相关的Deep Web查询接口表单的目的。（7）本文结合领域本体管理模块分别对聚焦爬虫获取的页面和查询接口的文本特征进行了两次主题分类。前者侧重于对领域主题概念的广度相关页面收集,力争在过滤非领域主题相关页面时,尽量不丢掉任何与领域主题相关的页面或者含有其被URL链接指向的页面；而后者则侧重于对领域主题概念的深度接口属性特征收集,使得即使是属于同一领域下,但是属于不同子主题概念相关的查询接口都尽量被清楚的分类。本文最后通过对各个模块部分进行的实验,给出了性能评价与分析,实验结果表明该方法使得Deep Web数据源判别与主题分类的准确性得到有效提高。

论文目录

• 摘要
• Abstract
• 目录
• 第1章 绪论
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.2.1 Deep Web信息集成技术研究现状
• 1.2.2 基于本体的信息集成技术研究现状
• 1.2.3 Deep Web数据源发现技术研究现状
• 1.3 论文研究内容
• 1.4 论文组织结构
• 第2章 理论基础
• 2.1 本体
• 2.1.1 本体定义及分类
• 2.1.2 本体描述语言
• 2.2 领域本体构建
• 2.2.1 领域本体
• 2.2.2 领域本体构建原则
• 2.2.3 领域本体构建方法
• 2.2.4 领域本体在数据集成中的作用
• 2.3 HTML介绍
• 2.3.1 HTML语言
• 2.3.2 表单及其控件标记
• 2.4 VSM-向量空间模型
• 2.5 本章小结
• 第3章 Deep Web数据源聚焦搜索
• 3.1 Web爬虫搜索技术
• 3.1.1 Web爬虫工作原理
• 3.1.2 Web爬虫搜索策略
• 3.1.3 Web聚焦爬虫机制
• 3.2 基于领域本体的Deep Web聚焦爬虫
• 3.2.1 Deep Web聚焦爬虫框架
• 3.2.2 领域本体管理模块
• 3.2.3 领域特征匹配模块
• 3.2.4 URLs特征优选模块
• 3.3 本章小结
• 第4章 Deep Web数据源查询接口识别分类
• 4.1 Deep Web数据源查询接口识别分类框架
• 4.2 Deep Web查询接口识别模块
• 4.2.1 Web页面表单类别
• 4.2.2 查询接口表单特征提取
• 4.2.3 基于D-T的Deep Web查询接口识别
• 4.3 Deep Web查询接口分类模块
• 4.3.1 Deep Web数据源查询接口分类策略
• 4.3.2 基于领域本体的Deep Web查询接口主题分类
• 4.4 本章小结
• 第5章 实验结果与分析
• 5.1 Deep Web数据源聚焦关键技术实现
• 5.2 Deep Web数据源聚焦技术性能分析
• 5.3 本章小结
• 第6章 总结与展望
• 6.1 工作总结
• 6.2 工作展望
• 参考文献
• 读研期间发表的论文
• 致谢