分布式文件系统小文件性能优化技术研究与实现

论文摘要

分布式文件系统以其高可靠性、高可扩展性以及高性能和高性价比成为高性能计算平台存储系统的首选,已经在军事技术、天气预报等环境中得到广泛应用。相比其它文件系统,它具有两个特点:一是通过数据的分布存储,来提供更大的存储空间,并利用并行的I/O服务模式提供更高的I/O带宽;二是通过使用各种新颖的分布式存储体系结构,来为应用程序提供更丰富的I/O模式。比如通过使用对象存储技术,为应用程序提供面向对象的数据存储格式,并提供Peta级大小的存储空间。Lustre是典型的基于对象存储体系结构的并行文件系统,它起源于卡耐基梅隆大学的Coda项目研究工作,已经成为当前高性能计算领域使用最广泛的并行文件系统之一。Lustre具有良好的大文件I/O性能,但是由于Lustre使用分布式的存储体系结构,文件元数据和数据分开存储,它的小文件I/O性能低下,甚至不如本地文件系统。本文以Lustre为具体研究对象,通过研究Lustre的存储体系结构和实现原理,在Lustre的OST组件中设计并实现了一种分布独立式的小文件Cache结构:Filter Cache。该方法通过扩展Lustre的OST端的数据通路,在原有数据通路的基础上,增加对小对象I/O的缓存措施,以此来改善Lustre的小文件性能。测试表明:使用Filter Cache方法之后,Lustre的小文件I/O性能得到了很好的改善,在Cache资源全命中时,读性能最大能够提高65%。命中率和访问延迟是Cache系统中最重要的两个指标。本文研究了Cache技术的设计思想和实现技术,设计了对Filter Cache方法的优化方案。优化方案主要针对方法使用的资源结构、Cache置换算法和Cache读写流程。本文下一步工作将进一步完善这些优化措施的设计,并进行实现。最后,本文对分布式文件系统中的另一种Cache结构:协作-对象Cache进行了研究,详细介绍了其特点和实现,对比了该Cache结构和Filter Cache方法的不同点,根据它的优点提出了两点对Filter Cache方法的改进思想。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 课题背景及意义
• 1.1.1 存储体系结构的变迁
• 1.1.2 Lustre 介绍
• 1.2 研究现状
• 1.2.1 当前主要的分布式文件系统
• 1.2.2 分布式文件系统中的存储结构
• 1.2.3 Cache 技术及其在分布式文件系统中的应用
• 1.3 主要工作
• 1.4 本文结构
• 第二章 Lustre 文件系统的 I/O 结构及特点
• 2.1 Lustre 文件系统的存储结构
• 2.1.1 智能化的对象存储设备
• 2.1.2 全局的命名空间
• 2.1.3 透明的访问方式
• 2.2 Lustre 文件系统的 I/O 流程
• 2.3 Lustre 的性能特点
• 2.4 测试
• 2.4.1 测试目的
• 2.4.2 测试环境
• 2.4.3 测试方法
• 2.4.4 测试结果
• 2.5 相关研究
• 2.5.1 服务器驱动的元数据预取和命名空间平坦化
• 2.5.2 协作－对象Cache
• 2.5.3 OBFS
• 2.5.4 DCD
• 2.6 课题的出发点
• 第三章 Lustre 文件系统研究
• 3.1 Lustre 的网络通信
• 3.2 元数据服务器功能剖析
• 3.2.1 存储系统中各文件的元数据
• 3.2.2 维护各个文件的生命状态
• 3.2.3 维护整个文件系统的状态
• 3.3 对象存储服务器的功能剖析
• 3.4 Client 组件的内部结构和主要接口
• 第四章 Filter Cache 方法
• 4.1 Filter Cache 方法的背景
• 4.1.1 Filter Cache 方法的基本原理
• 4.1.2 Filter Cache 方法的目的
• 4.2 Filter Cache 方法的设计
• 4.2.1 Cache 资源结构设计
• 4.2.2 设计特点
• 4.3 Filter Cache 方法的实现
• 4.3.1 Cache 资源结构实现
• 4.3.2 功能模块划分
• 4.3.3 Cache 策略实现
• 4.3.4 I/O 流程
• 4.3.5 测试
• 第五章 Filter Cache 方法的优化
• 5.1 对 Cache 结构的优化
• 5.1.1 数据结构的优化
• 5.1.2 Cache 大小的优化
• 5.2 对 Cache 置换算法的优化
• 5.3 对读写过程的优化
• 5.3.1 预读技术的功能组成及其分类
• 5.3.2 预读技术在Filter Cache 方法中的应用
• 5.3.3 预读技术的相关研究
• 5.3.4 TAP 技术介绍
• 第六章 分布式文件系统中的协作式 Cache 技术
• 6.1 协作-对象 Cache 的原理
• 6.1.1 协作－对象Cache 的应用背景
• 6.1.2 协作-对象Cache 的结构
• 6.1.3 协作－对象Cache 的Cache 替换策略
• 6.1.4 协作－对象Cache 的负载平衡策略
• 6.1.5 协作-对象Cache 的实现代价
• 6.2 协作-对象 Cache 的特点
• 6.3 对 Filter Cache 方法的启示
• 6.4 协作-对象 Cache 的其它研究
• 第七章 结束语
• 7.1 工作总结
• 7.2 下一步的工作
• 致谢
• 参考文献
• 作者在学期间取得的学术成果