面向主题的多源Web上结构化数据集成的研究与实现

论文摘要

随着Internet的不断发展,Web数据逐渐成为人们关注的焦点。Web上拥有着大量有价值的数据,其中Web源上的结构化数据就是其中之一。Web源上的结构化数据是指将Web源上的网页数据经过特定规则抽取后存储到数据库中的数据。如何对多个Web源上的结构化数据加以整合利用,即对多源Web上的数据进行集成,成为被人们广泛关注的研究领域。然而,Web上的结构化数据是Web数据的一种,它具有Web数据的特点,由于它存储于数据库中,也具有了数据库中的某些特点,与此同时,它是面向某个领域的,因此也具有了某个领域的数据特点,这些特点给其数据集成造成了诸多困难,本文研究的就是如何对多个Web源上异构的结构化数据进行集成。本文在研究Web数据集成的基础上,针对多源Web上结构化数据的特点,提出了一种基于领域知识库的数据集成的实现方法。领域知识库为领域知识的共享和基于知识的推理提供了基础。本文的主要工作包括以下几个方面：首先,针对多源Web上结构化信息的特点,给出了领域知识库的构建方法并初牛建立了核心领域知识库。以手机领域知识库为例,在得不到领域专家大力支持的情况下,利用采样、统计方法获取相关的核心领域知识；针对多Web源上手机数据的语义异构问题,提出了一种基于有序前缀树聚类的方法,对手机属性进行聚类,挖掘出领域知识之间的各种关系；在领域知识及其之间的关系基础上,基于本体的思想和构建方法构建领域知识库。其次,基于构建的领域知识库实现了对多个Web源上的结构化数据集成。以手机数据集成为例,集成过程包括数据加载、数据预处理、实体识别、合并重复实体和数据输出。在合并重复实体过程中,对要合并的数据进行了特殊的分词与组词,定义了同义词与反义词,改进了相似度比较算法Jaccard系数法,并提出了两种合并方法：基于Web数据资源的合并方法和基于相似度合并方法。最后,针对Web数据的海量性特点,提出了基于MapReduce框架来解决海量Web数据集成问题。本文应用上述所提到的技术,实现了一个原型系统,并在原型系统上进行了实验,验证了本文方法的有效性和优越性。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题的研究背景
• 1.2 研究现状
• 1.3 本文的研究内容与方法
• 1.4 论文结构
• 第2章 相关技术
• 2.1 HADOOP与MAPREDUCE编程
• 2.1.1 Hadoop
• 2.1.2 MapReduce编程
• 2.2 CASSANDRA数据库
• 2.2.1 Cassandra
• 2.2.2 数据模型
• 2.3 本体论与领域知识库
• 2.3.1 本体的概述
• 2.3.2 领域知识库的概述
• 2.4 本章小结
• 第3章 数据集成设计
• 3.1 概述
• 3.1.1 需求概述
• 3.1.2 总体设计
• 3.2 领域知识库的设计
• 3.2.1 多数据源的数据采样
• 3.2.2 多数据源的数据统计
• 3.2.3 属性聚类
• 3.2.4 领域知识库的构建方法
• 3.3 结构化数据集成设计
• 3.3.1 加载数据
• 3.3.2 预处理数据
• 3.3.3 实体识别
• 3.3.4 合并重复实体
• 3.3.5 输出数据
• 3.3.6 基于MapReduce数据集成的设计
• 3.4 本章小结
• 第4章 数据预处理与知识库的构建
• 4.1 开发环境介绍
• 4.2 结构化手机数据的特征
• 4.3 结构化手机数据的处理过程
• 4.3.1 结构化数据的来源
• 4.3.2 结构化数据的处理
• 4.3.3 结构化数据的存储
• 4.4 领域知识库的构建
• 4.4.1 多数据源数据样本抽取
• 4.4.2 多数据源数据统计
• 4.4.3 属性聚类聚类
• 4.4.4 手机属性知识库的实例应用
• 4.5 本章小结
• 第5章 结构化数据集成的实现
• 5.1 系统功能介绍
• 5.2 系统各模块的实现
• 5.2.1 数据预处理
• 5.2.2 文本相似度计算
• 5.2.3 文本合并规则
• 5.2.4 属性处理
• 5.2.5 数据加载
• 5.2.6 基于MapReduce的数据集成
• 5.3 本章小结
• 第6章 实验与分析
• 6.1 实验数据与实验环境
• 6.2 实验结果与分析
• 6.2.1 有序前缀树聚类与编辑距离聚类
• 6.2.2 Jaccard系数法与改进Jaccard系数法比较
• 6.2.3 基于MapReduce数据集成的单机与集群运行时间比较
• 6.2.4 集成数据的评价
• 6.3 本章小结
• 第7章 总结与展望
• 7.1 本文工作总结
• 7.2 未来工作展望
• 参考文献
• 致谢
• 攻硕期间发表的论文及参加的项目