基于XML的Web数据挖掘技术的研究

论文摘要

随着Internet的飞速发展,互联网已成为信息传播与共享的重要资源。由于Web数据半结构化、异构、海量等特点,使得传统的数据挖掘技术不能直接运用到Web数据源上。Web数据挖掘就是从各种格式的Web文档或者Web活动中抽取潜在的、有用的模式。由于XML的结构化、可扩展性等优点,将XML与Web数据挖掘结合起来进行研究也已经成为这个领域的热点。本文首先研究了Web数据抽取技术,提出一种基于扩展DOM树的Web数据抽取方法。在Web页面的DOM树的节点中添加了页面的视觉特征元素和链接特征元素,然后进行节点重复度和新颖度的计算。通过计算多个相似页面之间子树的新颖度,可以自动学习和识别出对象数据并抽取出来,将抽取结果输出为XML文档。其次研究的是XML文档聚类,将XML文档的树形结构转化为一种层次结构,为处于不同层的元素赋予不同的权值。聚类算法计算XML文档与已存在类簇的层次相似度,将XML文档划分到层次相似度最大的聚类中。层次结构反映的是层与层之间的关系,简化了XML文档树形结构,使得计算相似度的时间消耗有所降低。最后,本文通过实验对算法进行验证,并对实验结果进行分析,论述了算法的优点和不足。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景及目的
• 1.2 国内外研究现状
• 1.2.1 Web数据挖掘
• 1.2.2 XML文档聚类
• 1.3 论文研究内容及组织
• 1.3.1 论文研究内容
• 1.3.2 论文的组织结构
• 第2章 相关知识及理论
• 2.1 引言
• 2.2 数据挖掘
• 2.2.1 数据挖掘概述
• 2.2.2 数据挖掘研究内容及常用技术
• 2.2.3 数据挖掘流程
• 2.3 Web数据挖掘
• 2.3.1 Web数据挖掘概述
• 2.3.2 Web数据挖掘分类
• 2.3.3 Web数据挖掘基本过程
• 2.4 XML技术
• 2.4.1 XML概述
• 2.4.2 XML的特点与优势
• 2.4.3 XML在Web数据挖掘中的应用
• 2.5 本章小结
• 第3章 基于扩展DOM树的Web对象数据抽取
• 3.1 引言
• 3.2 Web页面的预处理
• 3.2.1 网页规范化
• 3.2.2 构建DOM树
• 3.2.3 使用基于树的核函数筛选相似页面
• 3.3 Web页面特征
• 3.3.1 网页标签特征
• 3.3.2 网页视觉特征
• 3.3.3 链接信息特征
• 3.4 多个页面自动学习检测对象区域
• 3.4.1 构建扩展DOM树
• 3.4.2 多个相似页面对象区域检测算法
• 3.5 从对象区域抽取对象数据
• 3.5.1 区分数据项的角色
• 3.5.2 对象数据抽取算法
• 3.5.3 抽取结果输出为XML文档
• 3.6 Web数据抽取实验
• 3.6.1 Web数据抽取的评价标准
• 3.6.2 实验结果及分析
• 3.7 本章小结
• 第4章 基于树的层次相似度XML文档聚类方法
• 4.1 引言
• 4.2 XML文档层次结构
• 4.2.1 XML文档的层次结构表示方法
• 4.2.2 XML嵌套结构的处理
• 4.3 基于树的层次相似度XML文档聚类方法
• 4.3.1 XML文档的层次相似度计算
• 4.3.2 基于层次相似度的XML文档聚类
• 4.4 XML文档聚类实验
• 4.4.1 聚类评价标准
• 4.4.2 实验结果及分析
• 4.5 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文及参加的项目
• 致谢