蓝鲸分布式文件系统的资源管理

论文题目: 蓝鲸分布式文件系统的资源管理

论文类型: 博士论文

论文专业: 计算机系统结构

作者: 黄华

导师: 许鲁

关键词: 分布式文件系统,资源管理,网络存储,蓝鲸

文献来源: 中国科学院研究生院（计算技术研究所）

发表年度: 2005

论文摘要: 当前，高性能计算机得到了空前发展，特别是机群结构的超级计算机已经占据了TOP500中半数以上的份额。同时，随着信息技术的发展，越来越多的信息以数字化形式保存，存储子系统已经成为计算机系统中最重要的部分。然而由于外部存储设备受到机械部件的制约，其数据传输性能的提高远远落后于CPU运算能力的提高，造成存储子系统成为整个计算环境的瓶颈。与采用机群结构的高性能计算机系统类似，存储子系统的机群化将为解决数据传输能力的落后面貌提供一个可行的方案。 受国家“八六三”计划重点支持的“蓝鲸”大规模网络存储系统致力于解决高性能计算环境中的存储子系统的瓶颈问题。它借助于高性能计算机网络，管理多个存储节点组成的存储机群，充分利用它们的存储空间和并发数据传输能力，实现高性能、低成本的海量存储。蓝鲸分布式文件系统(BWFS)是蓝鲸大规模网络存储系统的核心系统软件，它向用户提供单一映象的、全局共享的分布式文件系统服务。 本文结合BWFS的设计与实现，对其资源管理做了较深入的研究，提出了分布式分层资源管理模型，以及该模型在BWFS实现中的相关技术。主要研究成果如下： (1)BWFS的分布式分层资源管理模型(Distributed Layered Resource Management Model)。DLRM模型根据相对于资源的角色，将系统划分成多个功能独立的模块，实现分布部署：同时将它们划分成多个层次，有利于系统的实现与优化。DLRM模型确定了BWFS的“带外”数据传输架构，将负载和存储分担到多个节点组成的机群上，实现并发管理和并发数据传输，因此奠定了系统强大可扩展性，为系统实现负载平衡、在线迁移等提供了可能。 (2)高效的物理存储空间管理。DLRM模型将海量存储空间统一编址，然后划分成多个独立的资源组，并发管理各个资源组的存储空间，提高系统的性能与可扩展性。资源组采用的数据块／索引节点的动态分配、带统计信息的动态位图等技术使得BWFS具有高效率的空间管理能力。 (3)全动态元数据绑定技术。BWFS的活跃元数据采用全动态任意绑定技术，可以实现动态负载平衡，提高系统的性能和可扩展性。 (4)文件系统的资源管理优化。元数据服务器管理BWFS的元数据，实现资源批量申请／异步释放、分片存储(striping)、按策略的资源分配、分布式日志等技术。 (5)针对BWFS的性能测试、分析与对比。通过这些测试，验证了DLRM模型以及以上技术的有效性，对比分析显示BWFS在多方面的性能较NFS有显著提高；同时，也发现了系统的一些弱点，对以后进一步优化有参加价值和借鉴意义。

论文目录:

声明

论文版权使用授权书

摘要

ABSTRACT

目录

图目录

表目录

第一章 引言

1.1 高性能计算的发展

1.2 外部存储子系统的发展

1.2.1 硬盘技术

1.2.2 磁盘阵列技术

1.2.3 网络存储技术

1.3 分布式文件系统

1.4 外部存储子系统面临的挑战

1.5 蓝鲸大规模网络存储系统概况

1.6 本文的贡献

1.7 论文的组织

第二章 分布式分层资源管理模型

2.1 模型设计的背景

2.1.1 模型设计的出发点

2.1.2 相关研究

2.2 DLRM模型

2.3 全局逻辑地址和资源组

2.4 小结

第三章 磁盘空间管理

3.1 相关研究

3.2 BWFS面临的挑战以及应对策略

3.3 资源组

3.3.1 数据块管理

3.3.2 索引节点管理

3.4 在线迁移和负载平衡

3.5 小结

第四章 元数据管理

4.1 背景

4.2 元数据服务器的总体架构

4.3 资源的批量申请/异步释放

4.4 索引节点的查找

4.5 空间资源的分配策略

4.6 分片存储

4.7 元数据服务器集群

4.8 分布式日志

4.9 小结

第五章 元数据绑定

5.1 组织架构

5.2 影响绑定的因素

5.3 绑定策略

5.4 动态负载平衡

5.5 小结

第六章 客户端的资源使用

6.1 应用服务器的系统架构

6.2 数据带外传输模式

6.3 元数据信息的缓存

6.3.1 块映射信息的存储

6.3.2 块映射信息的替换

6.3.3 块映射信息的失效

6.3.4 性能测试和对比

6.4 文件映射

6.5 数据一致性

6.6 资源定位

6.7 小结

第七章 性能分析与评价

7.1 性能测试的目的

7.2 性能评价模型

7.2.1 性能衡量的标准

7.2.2 影响性能的因素

7.2.3 性能评价模型

7.3 测试环境

7.4 测试用例及工具

7.5 测试结果与分析

7.5.1 大文件读写

7.5.2 小文件写入与删除

7.5.3 编译 Linux内核

7.5.4 同一目录下空文件/空目录的删除与创建

7.6 实际使用案例分析

7.7 小结

第八章 结束语

8.1 研究现状

8.2 本文工作总结

8.3 下一步研究方向

8.4 体会与感想

参考文献

致谢

作者简历

发布时间: 2006-12-27

参考文献

• [1].分布式文件系统高可用问题研究[D]. 史小冬.中国科学院研究生院（计算技术研究所）2002
• [2].分布式文件系统可扩展元数据服务关键问题研究[D]. 杨德志.中国科学院研究生院（计算技术研究所）2008
• [3].物联网大数据存储与管理技术研究[D]. 郝行军.中国科学技术大学2017
• [4].大数据处理技术与系统研究[D]. 顾荣.南京大学2016

相关论文

• [1].分布式文件系统性能建模及应用研究[D]. 赵铁柱.华南理工大学2011
• [2].广域网络虚拟文件系统关键技术研究[D]. 刘丹.电子科技大学2005
• [3].可扩展的单一映象文件系统[D]. 王建勇.中国科学院研究生院（计算技术研究所）1999
• [4].机群文件系统服务器关键技术研究[D]. 吴思宁.中国科学院研究生院（计算技术研究所）2004
• [5].集群服务器相关技术研究[D]. 陈连平.中国科学院研究生院（计算技术研究所）2002
• [6].机群文件系统性能与正确性研究[D]. 贺劲.中国科学院研究生院（计算技术研究所）2002

标签：分布式文件系统论文;  资源管理论文;  网络存储论文;  蓝鲸论文;