高强度I/O的应用对并行存储系统的挑战和解决方法研究

论文摘要

随着高性能计算技术的发展,高性能计算机系统性能不断提升。当前,高性能计算已经进入PetaFLOPS时代,并开始向Exascale时代进发。与之同时,数据存储也超过Petabyte量级。作为高性能计算机系统最重要部分之一的存储系统,其性能的改进远比不上计算性能的提升,存储系统性能与计算性能之间的不匹配制约了高性能计算机整体系统性能的发挥。本文针对HPC系统中突出的I/O瓶颈问题,结合石油地震勘探数据处理应用,从文件系统、存储系统架构等方面进行了研究,为解决当前及未来Exascale计算条件下I/O系统的问题提出了一些解决方案。本文首先对分布式文件系统进行了研究,分布式文件系统是高性能计算机存储系统的直接管理者,其管理方式直接影响存储系统性能的发挥。本文具体分析了当前HPC系统广泛使用的Lustre文件系统的构成、数据读写流程、加解锁流程以及Lustre文件系统的Cache策略,指出了Lustre文件系统当前存在的不足。然后,以高性能计算机系统计算密集型和I/O密集型的典型应用——石油地震勘探数据处理为例,研究了它的数据处理I/O流程、分析了I/O模式和I/O特性,指出了在石油地震勘探数据处理应用下I/O系统存在的问题。本文针对I/O系统中存在的存储服务器端磁盘带宽输出不足、系统聚合带宽不够等问题,提出了VDISK方法。利用计算节点的内存资源存放服务器端的数据,代理存储服务器向其他计算节点提供此数据,从而减轻了存储服务器端的压力,提升了存储系统的聚合带宽。通过模拟,验证了VDISK方法能够有效提高存储系统输出带宽,缓解服务器访问瓶颈。最后,针对石油地震勘探数据处理中暴露的I/O问题,本文从存储系统结构的角度对改进I/O系统综合性能进行了研究,提出了分级存储系统结构。通过在计算节点本地增加存储资源,与全局存储一起向计算节点提供所需要的数据,以期有效突破I/O瓶颈,提高HPC系统整体性能。本文提出了三种分级存储系统的管理方案,最后实现了分级存储系统原型。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景及意义
• 1.1.1 高性能计算技术的发展
• 1.1.2 I/O 系统性能对高性能计算机性能的影响
• 1.2 研究现状
• 1.2.1 高性能计算机I/O 系统结构
• 1.2.2 分布式文件系统
• 1.2.3 提高I/O 系统性能的方法
• 1.3 论文的主要工作和贡献
• 1.4 论文结构
• 第二章 Lustre 文件系统的I/O 结构及其特点研究
• 2.1 Lustre 文件系统的结构
• 2.1.1 元数据服务器
• 2.1.2 对象存储服务器
• 2.1.3 客户端
• 2.2 Lustre 文件系统的I/O 流程
• 2.2.1 Lustre 文件系统的读写流程
• 2.2.2 Lustre 文件系统的加锁流程
• 2.3 Lustre 文件系统的性能特点
• 2.3.1 Lustre 文件系统的条带化机制
• 2.3.2 Lustre 文件系统的Cache 策略
• 2.3.3 Lustre 文件系统存在的问题
• 2.4 本章小结
• 第三章 石油地震勘探数据处理I/O 特性研究
• 3.1 石油地震勘探介绍
• 3.2 石油地震勘探数据处理
• 3.3 石油地震探勘数据处理的I/O 特性分析
• 3.3.1 石油地震勘探数据处理中的I/O 模式
• 3.3.2 I/O 特性分析
• 3.4 石油地震勘探数据处理与当前存储系统的不适应性
• 3.5 本章小结
• 第四章 VDISK 方法设计
• 4.1 VDISK 方法的背景
• 4.1.1 VDISK 方法所针对的问题
• 4.1.2 相关工作
• 4.2 VDISK 方法设计
• 4.2.1 VDISK 方法基本思想
• 4.2.2 VDISK 空间管理策略
• 4.2.3 一致性问题
• 4.3 采用VDISK 策略的Lustre 文件系统描述
• 4.4 VDISK 方法模拟验证与分析
• 4.4.1 模拟器设计
• 4.4.2 模拟验证结果
• 4.5 本章小结
• 第五章分级I/O 存储
• 5.1 分级I/O 存储的背景
• 5.2 两级存储系统设计
• 5.2.1 硬件视图
• 5.2.2 软件视图
• 5.2.3 基于文件Cache 的两级存储管理
• 5.2.4 独立两级存储管理
• 5.2.5 全局两级存储管理
• 5.3 本章小结
• 第六章 工作总结和展望
• 6.1 工作总结
• 6.2 下一步工作展望
• 致谢
• 参考文献
• 作者在学期间取得的学术成果