对象存储设备本地文件系统的研究

论文摘要

由于高吞吐率和高容量存储系统的需求牵引,网络存储体系结构正经历着重要的变化。基于对象的存储是一种非常有前景的网络存储模型。在该模型中,文件被分割成一个或多个对象存储在具有一定计算能力的对象存储设备（Object-Based Storage Device , OSD）中。对象存储设备负责管理本地的存储空间,对外提供对象级访问接口。对象存储设备面临的负载特点与通用文件系统的预期有很大不同,通用文件系统用于执行OSD存储管理任务时不能有效的发挥OSD的性能。在此背景下提出了一种用于对象存储设备的本地文件系统OSDFS（全称）架构,以提高OSD存储管理的性能。阐述了OSDFS的设计、实现,并与通用文件系统进行性能对比测试。OSDFS针对对象负载特征采取了一些提高性能的设计,为对象存储设备提供了更有效的存储管理。相对于通用文件系统（如Ext2）,OSDFS主要有如下特点:首先,用连续块取代块作为对象的基本组成单元,克服了处理大对象时由于间接索引而造成的性能损失;其次,用B+树组织对象名到对象索引节点的映射,实现了在平坦名字空间下对象的快速查找;最后,用空闲连续块桶组织空闲空间并使用预分配策略,使磁盘空间的分配快速、合理,减少外部碎片。最后对OSDFS进行了多项测试,并对测试结果进行了分析和评价。测试结果表明,在仿真的OSD负载下,OSDFS性能明显优于Ext2,并且在长期读写操作过程中,性能下降的速度明显比Ext2缓和。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 课题背景
• 1.2 国内外相关工作
• 1.3 本文研究的主要内容
• 2 对象存储设备的存储管理
• 2.1 HOSS体系结构及工作流程
• 2.2 OSD存储管理子系统的设计框架
• 2.3 Ext2 用于OSD存储管理存在的弊端
• 2.4 本章小结
• 3 OSDFS的设计
• 3.1 对象的数据与元数据的组织
• 3.2 对象名查找
• 3.3 空闲空间组织
• 3.4 空闲空间分配
• 3.5 预分配策略
• 3.6 本章小结
• 4 OSDFS的实现
• 4.1 OSDFS的软件结构
• 4.2 OSDFS的磁盘数据结构
• 4.3 OSDFS的内存数据结构
• 4.4 OSDFS的主要操作
• 4.5 空间预分配的实现
• 4.6 本章小结
• 5 OSDFS的性能测试
• 5.1 测试环境
• 5.2 大对象访问性能测试
• 5.3 大目录索引性能测试
• 5.4 仿真OSD负载下的性能测试
• 5.5 本章小结
• 6 全文总结
• 致谢
• 参考文献