分布式文件系统可扩展元数据服务关键问题研究

论文摘要

文件系统元数据描述文件系统及其管理的文件,其访问效率是文件数据访问性能的关键因素。在海量网络存储环境中,随着系统应用的多样化、应用需求规模的不断扩大,如何充分利用系统资源,提供高扩展能力的文件系统元数据服务,成为大规模分布式文件系统研究的热点问题。多种典型应用的访问统计结果表明,文件系统元数据具有活跃性、局部性、动态性、需要更改文件系统的多元数据请求的比例很少等特点。基于此特性,本文的主要创新点是,提出动态灵活的分布式文件系统元数据服务机制和策略,支持文件系统元数据服务的动态扩展。它包括元数据存储和访问两个方面:1)集中共享的元数据虚拟存储模型。以虚拟存储技术支持的存储资源透明扩展、分层的存储资源管理和动态的元数据资源分配、元数据对所有请求服务器可见等为基础,元数据存储服务有效分离元数据的存储和访问,为动态灵活的元数据请求服务提供支持。2)动态灵活的元数据请求服务机制和策略。文件系统元数据表现出活跃性、局部性和动态性等特征。动态分布决策将文件系统名字空间结构与元数据类型相结合,由用户访问动态驱动活跃元数据的请求分布。初步的对比评估结果表明,相对于目录子树分区法,其请求处理能力将提高30%左右。动态灵活的元数据服务机制为服务扩展能力提供基础。为解决两阶段提交等传统协议的不足,本文提出通过动态迁移协议,集中处理跨服务器请求,有效保证请求的原子性。在最坏情况下,动态迁移协议也能够减少25%的处理时延,且其错误恢复的影响也小得多。针对传统和新兴应用的实验验证了元数据服务扩展能力的有效性。针对生物信息计算BLAST的评估表明,元数据服务器的增加将带来20%左右的元数据服务时间降低。通过对系统实现的优化,将可能获得近线性的元数据服务扩展能力。同时,实验结果还为未来的工作方向提供了参考:1)原型系统的实现优化;2)自适应的元数据请求分布决策模型;3)系统结构的优化,以更好支持超大规模的系统扩展需求。

论文目录

• 摘要
• Abstract
• 图目录
• 表目录
• 第一章 引言
• 1.1 研究的目标和意义
• 1.2 相关技术的发展
• 1.2.1 存储设备
• 1.2.2 存储系统
• 1.2.3 分布式文件系统
• 1.3 本研究的研究背景
• 1.4 本研究的关键问题
• 1.5 本研究的主要贡献
• 1.6 本文的组织
• 第二章 文件系统元数据存储服务
• 2.1 元数据存储服务需求
• 2.2 相关研究概况
• 2.3 BWMMS 的元数据存储服务
• 2.3.1 集中虚拟化的存储资源组织
• 2.3.2 分布式层次化的存储资源管理
• 2.3.3 完全共享的存储资源使用
• 2.4 本章小结
• 第三章 元数据请求分布管理
• 3.1 文件系统元数据访问协议
• 3.2 用户元数据访问特征
• 3.3 相关研究概况
• 3.4 BWMMS 元数据请求分布管理
• 3.4.1 相关概念定义
• 3.4.2 分布管理机制
• 3.4.3 分布管理协议
• 3.4.4 请求分布算法
• 3.5 动态请求分布法的有效性评估
• 3.6 本章小结
• 第四章 元数据分布信息缓存管理
• 4.1 元数据分布信息缓存的必要性
• 4.2 元数据分布信息缓存管理的相关定义
• 4.3 元数据分布信息缓存的组织
• 4.4 元数据分布信息的状态转换
• 4.4.1 宿主权限项的状态转换
• 4.4.2 非宿主权限项的状态转换
• 4.5 状态转换图的活跃性分析
• 4.5.1 宿主权限项
• 4.5.2 非宿主权限项
• 4.6 不活跃元数据信息的替换策略
• 4.7 缓存有效性的影响评估
• 4.7.1 缓存命中率的影响
• 4.7.2 不同应用的缓存命中率
• 4.8 本章小结
• 第五章 基于宿主改变的请求原子性保证协议
• 5.1 问题描述
• 5.2 两阶段提交协议
• 5.3 BWMMS 的跨服务器请求原子性保证协议
• 5.3.1 目标跨服务器请求
• 5.3.2 元数据迁移的可行性
• 5.3.3 元数据迁移对象
• 5.3.4 迁移协议数据格式
• 5.3.5 迁移协议时序图
• 5.3.6 迁移协议的影响分析
• 5.3.7 迁移协议的容错分析
• 5.4 与两阶段提交协议对比分析
• 5.5 元数据迁移协议的影响评估
• 5.6 本章小结
• 第六章 元数据请求并发与同步控制
• 6.1 问题描述
• 6.2 BWMMS 元数据请求并发控制
• 6.3 常规文件元数据的迁移
• 6.3.1 常规文件并发算法
• 6.3.2 算法活跃性验证
• 6.4 目录元数据的迁移
• 6.4.1 目录并发算法
• 6.4.2 算法活跃性验证
• 6.5 本章小结
• 第七章 元数据服务扩展能力评估
• 7.1 系统原型实现
• 7.2 元数据服务扩展能力评价指标
• 7.3 对传统应用的扩展支持评估
• 7.3.1 共享使用模式的扩展能力评估
• 7.3.2 私有使用模式的扩展能力评估
• 7.3.3 创建删除空文件的扩展能力评估
• 7.4 对新兴应用的扩展支持评估
• 7.5 本章小结
• 第八章 结束语
• 8.1 本文工作总结
• 8.2 未来工作展望
• 8.2.1 研究内容的深化
• 8.2.2 系统适应范围的扩展
• 8.2.3 研究领域的扩展
• 参考文献
• 致谢
• 作者简历