面向大数据处理的图搜索与深度学习算法并行优化技术研究

论文摘要

伴随着信息技术的迅速发展,数据为王的大数据时代已然到来,战略需求也发生了重大改变。数据是与自然资源、人力资源一样重要的战略资源,隐含了巨大的经济价值。如何有效的组织和处理大数据,将对社会经济的发展起到巨大的作用。针对各种复杂系统得到的数据,通过数据之间关联关系整合成一个网络,因此大数据面临的科学问题本质上就是网络科学问题。如何挖掘数据之间的相互关系,并将这种关联关系进行快速的分析处理是目前的一个研究热点。图搜索和深度学习算法在大数据处理中发挥了至关重要的作用。图搜索算法对数据网络进行查询、聚类、匹配等操作,从而将数据网络根据数据关联关系划分成连通子图,深度学习算法则对数据连通子图中纷繁复杂的数据进行特征抽取和分类,从而提取用户需要的关键信息。反之,深度学习算法可以对大数据中的数据进行数据挖掘、特征识别和分类,从而将一些看似孤立的数据划分为具有各种特征的数据网络,如蛋白质数据构成的蛋白质网络、Web数据构成的社会网络等等,之后图搜索对这些网络进行进一步数据挖掘,如求聚集参数、连通子图、最大独立子集等等。面对大数据处理,速度成为一个至关重要的问题,因此图搜索和深度学习的速度优化成为当前研究的一个热点,同时也是一个难点。本文针对大数据的处理,重点对图搜索和深度学习算法进行了加速研究。首先,本文研究了当前大数据的特点,并调研了相关应用。其次,本文在CPU平台上利用OpenMP并行模型对图搜索算法进行并行优化,并利用程序的局部性原理、降低同步开销以及负载均衡的方法对算法进行了并行优化。再次,针对图搜索算法访存不规则等特性,定制了FPGA算法硬件加速器。提出了使用流水线和多PE(Processing Element,处理单元)消息传递的实现方法,并针对硬件流水线并行实现的特点,提出了使用细粒度流水线优化的方法。最后,本文首先对DBN(Deep Belief Nets,深度信念网络)这一深度学习算法的工作流程进行了介绍,并总结了算法的运算特征。然后使用基于指令集的汇编语言将分类函数翻译成汇编程序,并对程序进行了性能评估。最后介绍了深度学习算法硬件加速的开发工具的情况。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 课题研究背景
• 1.1.1 大数据的研究面临的挑战
• 1.1.2 大数据处理中的图搜索与深度学习
• 1.1.3 大数据处理中的图搜索与深度学习的应用
• 1.2 课题技术背景
• 1.2.1 Open MP并行模型
• 1.2.2 FPGA概述
• 1.3 图论的相关知识
• 1.3.1 图的表示方法
• 1.3.2 图的存储方法
• 1.3.3 图的生成方法
• 1.4 课题研究内容
• 1.5 论文结构
• 第二章 基于CPU的图搜索并行优化
• 2.1 宽度优先搜索算法分析
• 2.1.1 算法执行流程
• 2.1.2 算法的特征分析
• 2.1.3 算法性能评测标准
• 2.2 CPU平台上宽度优先搜索研究现状
• 2.2.1 访存优化
• 2.2.2 计算效率优化
• 2.2.3 通信效率优化
• 2.3 宽度优先搜索并行优化
• 2.3.1 宽度优先搜索并行化分析
• 2.3.2 宽度优先搜索并行优化策略
• 2.4 性能分析
• 2.4.1 实验平台
• 2.4.2 性能分析
• 2.5 本章小结
• 第三章 基于FPGA的图搜索设计与实现
• 3.1 基于FPGA的宽度优先搜索相关研究
• 3.2 基于FPGA的宽度优先搜索的设计思想
• 3.3 宽度优先搜索的FPGA设计
• 3.3.1 系统总体框架
• 3.3.2 处理单元结构
• 3.3.3 消息传递机制实现
• 3.3.4 优化策略
• 3.4 性能分析
• 3.4.1 实验平台
• 3.4.2 综合结果分析
• 3.4.3 性能对比
• 3.5 本章小结
• 第四章 面向大数据处理的深度学习算法并行优化技术研究
• 4.1 面向大数据处理的深度学习相关研究
• 4.2 深度学习网络结构
• 4.2.1 RBM简介
• 4.2.2 DBN网络结构
• 4.2.3 DBN训练过程
• tuning过程分析'>4.2.4 Fine_tuning过程分析
• 4.3 深度学习算法并行优化
• tuning过程并行优化分析'>4.3.1 Fine_tuning过程并行优化分析
• 4.3.2 分类函数并行优化编码验证
• 4.3.3 性能分析
• 4.4 深度学习算法工具链简介
• 4.5 本章小结
• 第五章 结束语
• 5.1 工作总结
• 5.2 研究展望
• 致谢
• 参考文献
• 作者在学期间取得的学术成果