基于云计算环境的web数据挖掘算法研究

论文摘要

目前,单一CPU节点的计算能力已经发展到一个瓶颈,而利用云计算技术,人们可以方便的通过网络获取强大的计算能力、存储能力以及基础设施。因此将消耗大量计算资源的复杂计算通过网络分布到多节点上进行计算的方式成为了新的有效的解决方案。Web数据挖掘是从Web超链接、网页内容和使用日志中探寻有用的信息的数据挖掘方法。Web Graph是Web数据挖掘中非常重要的用来描述web信息的数据结构。这种数据结构在Web页面爬取、搜索引擎结果排序以及社交网络等应用中更是有着非常广泛的应用。论文针对Web数据挖掘中Graph的算法在云计算环境中进行研究。论文介绍了Web Graph数据结构,搭建了云计算环境,提出社交网站用户Graph数据的获取方案,并使用力导向算法形象描述Graph数据；论文同时设计并优化了Web Graph直径的计算算法,并利用云计算环境进行了算法功能和性能测试,测试结果表明：在集群中部署分布式算法,可以显著提高Graph数据挖掘的效率。论文研究成果在搜索引擎以及社交网络分析领域具有较高的应用价值。

论文目录

• 致谢
• 摘要
• ABSTRACT
• 1 引言
• 2 云计算和Web数据挖掘技术
• 2.1 云计算
• 2.1.1 云计算的分类和特点
• 2.1.2 云计算的应用场景
• 2.1.3 云计算技术的研究现状
• 2.2 云计算的关键技术
• 2.2.1 数据存储领域的核心技术
• 2.2.2 数据管理领域的关键技术
• 2.2.3 编程模型领域的关键技术
• 2.3 Web数据挖掘概述
• 2.3.1 Web Graph及其应用
• 2.3.2 社交网络服务（Social Network Service）
• 3 Web Graph数据的获取与展示
• 3.1 Web Graph挖掘的数据结构和存储方案
• 3.1.1 Web Graph算法使用的数据结构
• 3.1.2 Web Graph数据的存储方式
• 3.2 Graph数据的抓取
• 3.2.1 申请Facebook应用程序
• 3.2.2 开发Facebook应用程序获取用户关系
• 3.3 Graph数据的形象化展示
• 3.4 本章总结
• 4 Graph挖掘算法
• 4.1 Graph直径求解算法设计
• 4.1.1 Graph的直径
• 4.1.2 算法思想分析
• 4.1.3 OptimDM算法的优化实现
• 4.2 OptimDM算法的性能分析
• 4.3 本章总结
• 5 算法仿真实验与应用分析
• 5.1 Hadoop平台的搭建
• 5.1.1 Hadoop平台与OptimDM算法
• 5.1.2 单节点Hadoop环境的搭建
• 5.1.3 多节点分布式运行Hadoop
• 5.1.4 基于Elicpse的MapReduce开发环境
• 5.2 算法的仿真和性能测试
• 5.2.1 传统单节点环境的图直径求解实验
• 5.2.2 集群环境中OptimDM算法的实验
• 5.3 OptimDM算法的应用
• 5.4 本章总结
• 6 总结和展望
• 参考文献
• 作者简历
• 学位论文数据集