首页> 正文

大规模机群文件系统的关键技术研究

2020-11-22阅读(946)

大规模机群文件系统的关键技术研究

论文摘要

机群结构已成为高性能计算机的主流结构。高端计算应用对机群I/O系统提出了挑战性的需求。随着CPU处理能力和通信速度的迅速提高,I/O成为制约机群实际效率发挥的瓶颈,I/O瓶颈问题是当前机群面临的一大难题。机群文件系统作为解决机群I/O瓶颈的核心技术,其研究具有重要的意义。面向大规模机群的机群文件系统的体系结构应该是多数据通路多元数据通路的,即元数据处理与文件I/O分离,利用大规模网络存储系统来提供多条数据I/O通路,利用一组元数据服务器来提供多条元数据I/O通路。针对这种结构的机群文件系统,我们研究了其中的几个关键问题,包括元数据的分布问题,元数据的一致性和快速故障恢复问题,以及PB级机群文件系统的相关问题。本文的主要贡献在于:（1）提出一种高效的大存储空间的管理策略——Bitmap-Extent混合策略。针对PB级机群文件系统,打破了传统文件系统基于一个块设备的限制,提出将机群文件系统与物理存储分离的一种逻辑空间策略,从而解决了文件系统容量受限问题和存储扩展问题等;而且针对PB级存储空间管理,提出一种基于位图与extent链表相结合的大规模存储空间管理机制,以提高存储空间的管理效率。（2）提出一种基于粒度的动态元数据分布策略。元数据分布问题是决定非集中式元数据处理性能的关键问题。我们提出的基于粒度的动态元数据分布策略以提高元数据处理整体性能为目标,综合考虑元数据分布均衡度和文件系统层次结构关系两个因素对元数据处理整体性能的影响,按照D-D-F粒度来划分名字空间和分布元数据,实验结果表明在模拟真实环境的负载下其性能优于动态随机分布策略和动态根子树分布策略。（3）提出一种基于简化的两阶段提交协议的、故障后可快速恢复元数据一致性的分布式元数据处理协议。元数据一致性问题是影响分布式元数据管理的可靠性和高可用性的关键问题。为了解决元数据服务器之间的元数据一致性问题,我们将两阶段提交协议与元数据的处理协议结合起来,提出一种基于简化的两阶段提交协议的分布式元数据处理协议,在元数据服务器失效或客户节点失效时,能够快速恢复文件系统的元数据一致性,保证文件系统的可用性。（4）设计和实现了面向多用户多任务环境的、支持大规模机群系统的、面向海量数据存储的机群文件系统DCFS2。在机群文件系统性能评价方面,提出从峰值性能、稳定性能、系统规模扩展性、元数据服务器扩展性、存储设备扩展性和存储I/O带宽利用率六个性能评价指标。并用这六个指标对DCFS2的性能进行全面评价。我们的结果表明,DCFS2能够获得比GFS等文件系统更高的聚合I/O带宽和聚合元数据处理性能。

论文目录

  • 摘要
  • Research on Key Issues in Large-Scale Cluster File Systems
  • 第一章 引言
  • 1.1 研究动机
  • 1.2 本文贡献
  • 1.3 本文组织
  • 第二章 研究背景
  • 2.1 研究机群文件系统的重要意义
  • 2.1.1 机群应用对I/O 系统的需求
  • 2.2 面向大规模系统和海量数据共享的存储系统
  • 2.3 面向大规模机群的高性能机群文件系统的体系结构
  • 2.4 面向大规模机群的高性能机群文件系统的关键研究问题
  • 2.4.1 PB 级机群文件系统访问效率问题
  • 2.4.2 元数据处理性能问题
  • 2.4.3 可靠性问题
  • 2.5 本章小结
  • 第三章 相关研究
  • 3.1 PB 级文件系统相关研究
  • 3.1.1 文件系统的动态增长
  • 3.1.2 存储空间管理策略的扩展性
  • 3.1.3 磁盘索引节点管理策略的扩展性
  • 3.1.4 目录项组织策略的扩展性
  • 3.1.5 文件块组织策略的扩展性
  • 3.2 元数据分布策略相关研究
  • 3.2.1 静态子树划分策略
  • 3.2.2 动态子树分布策略
  • 3.2.3 随机分布策略
  • 3.2.4 随机分布与子树分布相结合的策略
  • 3.2.5 小结
  • 3.3 元数据一致性相关研究
  • 3.3.1 文件系统一致性定义
  • 3.3.2 文件系统一致性分级
  • 3.3.3 单机文件系统的故障恢复技术
  • 3.3.4 分布式文件系统的故障恢复技术
  • 3.3.5 分布式数据库的故障恢复技术
  • 3.3.6 小结
  • 3.4 本章小结
  • 第四章 PB 级存储空间的高效管理策略（Bitmap-Extent 混合策略）
  • 4.1 大量物理存储设备的组织策略——逻辑空间策略（LS 策略）
  • 4.2 PB 级存储空间的管理策略——Bitmap-Extent 混合策略
  • 4.3 Bitmap-Extent 混合策略的性能分析
  • 4.4 本章小结
  • 第五章 基于粒度的动态元数据分布策略（DDG）
  • 5.1 非集中式元数据处理的特点分析
  • 5.2 元数据处理整体性能（HMPP）
  • 5.3 分布粒度
  • 5.4 DDG 分布算法
  • 5.5 性能评价
  • 5.5.1 性能评价方法
  • 5.5.2 实验环境说明
  • 5.5.3 测试所用名字空间结构的说明
  • 5.5.4 测试负载说明
  • 5.5.5 测试负载1 的结果
  • 5.5.6 测试负载2 的结果
  • 5.6 分布粒度对性能影响的分析
  • 5.6.1 实验环境说明
  • 5.6.2 测试负载说明
  • 5.6.3 目录深度对性能的影响
  • 5.6.4 目录宽度对性能的影响
  • 5.6.5 文件宽度对性能的影响
  • 5.6.6 推荐使用的分布粒度
  • 5.7 本章小结
  • 第六章 基于简化的两阶段提交的分布式元数据处理协议（S2PC-MP）
  • 6.1 元数据处理协议的前提假设
  • 6.2 基于两阶段提交的元数据处理协议2PC-MP
  • 6.3 基于简化的两阶段提交的元数据处理协议S2PC-MP
  • 6.4 分布式元数据操作的日志记录
  • 6.5 消息等待机制
  • 6.6 故障恢复
  • 6.6.1 故障恢复的前提
  • 6.6.2 元数据一致性
  • 6.6.3 等待队列的处理
  • 6.7 S2PC-MP 协议的完整描述
  • 6.8 日志记录的清除
  • 6.9 S2PC-MP 实例：mkdir
  • 6.10 性能评价
  • 6.10.1 测试平台说明
  • 6.10.2 记录日志对性能的影响
  • 6.10.3 故障恢复的效率
  • 6.11 本章小结
  • 第七章 机群文件系统DCFS2 的实现和性能评价
  • 7.1 DCFS2 面向的主要问题
  • 7.2 DCFS2 的总体结构
  • 7.3 客户端文件系统
  • 7.4 元数据服务器
  • 7.5 大文件系统支持
  • 7.5.1 PB 级存储空间的管理
  • 7.5.2 大量文件的支持
  • 7.5.3 大目录的支持
  • 7.5.4 大文件的支持
  • 7.6 与DCFS 的对比
  • 7.7 DCFS2 的性能评价
  • 7.7.1 性能的评价方法
  • 7.7.2 测试平台说明
  • 7.7.3 聚合带宽
  • 7.7.4 元数据处理性能
  • 7.7.5 小文件的聚合吞吐率
  • 7.8 与相关文件系统的性能对比
  • 7.8.1 测试平台说明
  • 7.8.2 各文件系统的配置说明
  • 7.8.3 小文件的读写带宽
  • 7.8.4 大文件的读写带宽
  • 7.8.5 元数据处理性能
  • 7.8.6 应用程序ict-blast 的运行效率
  • 7.9 本章小结
  • 第八章 结束语
  • 8.1 本文工作总结
  • 8.2 未来的研究方向
  • 8.2.1 机群文件系统未来研究方向
  • 8.2.2 面向大规模海量数据共享的存储系统
  • 8.2.3 存储系统的研究进展
  • 参考文献
  • 致谢
  • 作者简历

    • 相关论文文献

    • [1].基于Apache Ftpserver的可自定义文件系统的文件服务器[J]. 软件 2020(07)
    • [2].快速恢复ExFAT文件系统数据[J]. 网络安全和信息化 2019(05)
    • [3].油田设备文件系统数据存储的优化研究与分析[J]. 石化技术 2017(01)
    • [4].云文件系统中纠删码技术的研究与实现[J]. 计算机科学与探索 2013(04)
    • [5].基于虚拟文件系统的安全存储技术的研究[J]. 微电子学与计算机 2013(06)
    • [6].盘点文件系统[J]. 科技信息(科学教研) 2008(18)
    • [7].并行文件系统研究综述[J]. 小型微型计算机系统 2008(09)
    • [8].分布式文件系统与传统文件系统的比较研究[J]. 电子技术与软件工程 2015(23)
    • [9].处理CentOS 7启动错误[J]. 网络安全和信息化 2020(10)
    • [10].基于虚拟文件系统的诱骗主机安全方案研究[J]. 计算机与现代化 2013(02)
    • [11].基于镜像的在线文件系统检查工具的研究与实现[J]. 计算机系统应用 2013(08)
    • [12].海量文件系统中基于特征实现文件多维度浏览[J]. 计算机工程与科学 2017(05)
    • [13].基于堆叠文件系统的云计算存储优化[J]. 计算机工程 2014(12)
    • [14].一种分布式并行文件系统的介绍及在海洋地震数据处理中的应用[J]. 电脑与信息技术 2015(04)
    • [15].对象存储并行文件系统小文件性能优化研究[J]. 计算机工程与科学 2013(12)
    • [16].一种嵌入式实时操作系统高可靠文件系统[J]. 微电子学与计算机 2014(03)
    • [17].一种适用于集群文件系统分级存储的分布式锁设计与分析[J]. 计算机研究与发展 2012(S1)
    • [18].并行文件系统简介及主流产品对比[J]. 邮电设计技术 2012(07)
    • [19].Linux Ext2fs文件系统分析[J]. 电脑知识与技术 2010(17)
    • [20].面向容灾的强安全性虚拟文件系统[J]. 计算机工程 2009(07)
    • [21].蓝鲸集群文件系统中资源交互一致性协议[J]. 计算机工程 2008(11)
    • [22].基于准文件系统的高速大容量数据存储系统设计[J]. 机械与电子 2008(10)
    • [23].一种基于多应用智能卡文件系统的研究与实现[J]. 计算机应用与软件 2014(09)
    • [24].并行文件系统下数据迁移功能的实现[J]. 北京信息科技大学学报(自然科学版) 2012(05)
    • [25].基于文件系统过滤驱动的文档透明加解密系统的研究[J]. 电脑编程技巧与维护 2011(04)
    • [26].面向并行文件系统的性能评估及相对预测模型[J]. 软件学报 2011(09)
    • [27].并行文件系统的应用探讨[J]. 软件 2010(11)
    • [28].基于文件系统过滤驱动的文件加密系统设计[J]. 微电子学与计算机 2009(04)
    • [29].面向云文件系统的隔离性度量方法研究[J]. 计算机工程与科学 2017(07)
    • [30].基于数据库的文件系统管理工具设计与实现[J]. 计算机工程 2015(05)

    标签：;  ;  ;  ;  ;  

    大规模机群文件系统的关键技术研究
    下载Doc文档

    猜你喜欢

    © 2024 毕速过 版权所有 鄂ICP备12018319号-5