基于Hadoop平台的社区发现算法研究

论文摘要

近年来,随着Internet快速发展,Web互联网络已经成为了一个巨大的、分布广泛的全球信息服务中心,提供了新闻、财经、商业、文化、教育等各种信息服务。互联网络上极度相关的页面聚集在一起形成的各个具有共同相关主题的页面集合是Web社区。Web社区发现是指在分散和无序的互联网环境中发现潜在的和已定义的主题社区,并从互联网中抽取这些社区的过程。因此,将此技术用于Web数据挖掘具有重要的理论意义和实用价值。本文将从理论、算法和实现等三个方面研究社区发现技术。本文主要研究基于Web数据挖掘技术的社区发现技术。本文首先阐述了社区发现技术基本理论,用以处理数据的Hadoop平台的介绍,对现有的典型社区发现算法作了分析,例如Pagerank算法、HITS算法、基于二分图核的社区发现算法、基于最大流的社区发现算法等。针对这些基于结构挖掘的社区发现算法算法优势和缺点,着重针对PageRank算法仅适合静态网页排名,且与主题和时间无关的缺陷,提出一种新的改进社区发现算法TTPageRank算法,弥补以上不足,实现了基于链接权重的发现社区的方法,并在实验室多台虚拟机环境下搭建了一个基于开源Hadoop软件的分布式平台,在该平台上利用MapReduce编程模式设计并实现了PageRank算法和本文给出的改进的TTPageRank算法,演示了改进算法发现社区的过程；利用爬虫工具抓取的大量实际网页数据集对两个算法在Hadoop布式平台上进行了实验,实验运行结果表明了两种算法的性能和社区发现的准确性的不同。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景
• 1.2 研究现状和意义
• 1.3 研究内容、主要工作及本文贡献
• 1.4 论文结构安排
• 1.5 本章小结
• 第2章 相关理论知识
• 2.1 社区发现的含义
• 2.2 Hadoop平台以及MapReduce简介
• 2.3 本章小结
• 第3章 社区发现的主要算法
• 3.1 基于结构挖掘的社区发现的主要算法介绍
• 3.1.1 PageRank算法
• 3.1.2 HITS算法
• 3.1.3 基于完全二分图核算法
• 3.1.4 基于最大流的社区发现算法
• 3.2 基于内容挖掘的社区发现主要算法简介
• 3.2.1 K-means算法
• 3.2.2 层次聚类算法
• 3.2.3 EM算法
• 3.2.4 KNN算法
• 3.3 本章小结
• 第4章 社区发现算法的改进与设计
• 4.1 PageRank算法的设计
• 4.1.1 PageRank算法的MapReduce实现
• 4.2 TTPageRank算法的设计
• 4.2.1 对PageRank算法的改进
• 4.2.2 TTPageRank算法的MapReduce实现
• 4.3 本章小结
• 第5章 实验设计和结果分析
• 5.1 实验数据
• 5.2 实验步骤
• 5.2.1 主题的选取
• 5.2.2 数据的收集
• 5.2.3 Hadoop平台的搭建
• 5.2.4 算法实现
• 5.3 实验结果与分析
• 5.3.1 运行时间比较
• 5.3.2 主题相关性比较
• 5.3.3 TTPageRank算法发现社区的过程
• 5.3.4 实验分析
• 5.4 本章小结
• 第6章 总结与展望
• 6.1 论文总结
• 6.2 进一步的工作
• 参考文献
• 致谢