基于高性能集群计算的并行文件系统关键技术研究

论文摘要

本文提出了一个基于并行文件系统的地震资料处理的集成平台架构，消除了传统共享网络存储系统的瓶颈，解决了大规模数据处理中的效率问题。石油天然气勘探地震资料处理过程中的多个环节需要对大数据量并发读写，由于网络带宽、文件系统等性能问题，造成I/O等待、集群系统效率低下，无法实现有效的协同工作。本文通过分析地震资料处理应用中的并行计算、数据布局特点和主流网络存储技术，挖掘出制约高性能计算效率的关键因素。通过对并行文件系统Lustre进行深入的技术和应用场景分析、得出Lustre可以成为存储系统和应用软件之间的桥梁，消除大量并发应用进程访问存储系统的瓶颈。搭建了一套部署Lustre文件系统的高性能集群系统，进行系统的I/O和应用性能测试，通过测试数据的分析，印证了方案的有效性，这就为下一步的推广和优化打下了良好的基础。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 课题背景
• 1.2 石油勘探高性能集群计算的现状
• 1.3 国内外研究的现状
• 1.4 本文的组织
• 第二章 用于地震资料处理的高性能计算技术
• 2.1 地震资料处理的计算特点
• 2.1.1 地震资料适合并行计算处理
• 2.1.2 地震数据的格式
• 2.1.3 一个典型的地震资料处理方法
• 2.2 地震资料处理集群的技术特点
• 2.3 本章小结
• 第三章 高性能集群技术的相关背景知识
• 3.1 高性能集群系统
• 3.2 存储网络
• 3.3 影响存储系统性能的关键因素
• 3.3.1 存储阵列的性能
• 3.3.2 高速网络（FastNetwork）
• 3.3.3 文件系统 （File System）
• 3.4 并行文件系统
• 3.4.1 Lustre 系统
• 3.5 网络化存储未来
• 3.6 本章小结
• 第四章 共享文件系统在高性能计算的应用
• 4.1 NFS 文件系统
• 4.1.1 NFS 的实现原理
• 4.1.2 NFS 的局限
• 4.2 SNFS 共享文件系统
• 4.2.1 SNFS 文件系统的技术特点
• 4.2.2 SNFS 文件系统的工作方式
• 4.2.3 SNFS 文件系统的性能
• 4.3 传统共享文件系统的不足
• 4.4 本章小结
• 第五章 并行文件系统的技术架构分析
• 5.1 集群计算架构对存储的需求
• 5.2 并行文件系统的技术架构
• 5.2.1 并行文件系统的文件抽象
• 5.2.2 并行 I/O 的实现
• 5.2.3 MPI-IO 接口
• 5.3 Lustre 并行文件系统的实现
• 5.3.1 面向对象的存储系统
• 5.3.2 Lustre 文件系统的组成
• 5.3.3 Lustre 并行文件系统高性能的关键因素
• 5.3.4 Lustre 性能评测[36]
• 5.3.5 Lustre 并行文件系统的优势总结
• 5.4 地震数据处理中的 I/O 特点
• 5.4.1 地震资料处理
• 5.4.2 并行文件系统和地震资料处理的数据 I/O 特点
• 5.5 本章小结
• 第六章 并行文件系统部署设计与测试评估
• 6.1 测试环境配置状况
• 6.2 Lustre 并行文件系统的部署
• 6.3 测试评估过程
• 6.3.1 NFS 文件系统的读写测试
• 6.3.2 基于 NFS 的地震资料处理测试
• 6.3.3 Lustre 文件系统的读写测试
• 6.3.4 基于 Lustre 的地震资料处理测试
• 6.4 测试结论
• 第七章 结论及未来的工作
• 致谢
• 参考文献