分布式文件系统客户端的设计与实现

论文摘要

人类已迈入一个信息以几何级数增长的时代,对于海量数据的存储需求日益增多,海量存储系统成为企业界和学术界的研究热点。近十年来,企业界、学术界推动分布式文件系统向着并行化、集群化方向发展,研制出了众多新型的并行文件系统。海量存储系统的核心是分布式文件系统。BlueOcean存储系统是本人所属课题组自主研发的一款大规模分布式文件系统,采用了先进的并行文件系统结构和对象存储技术,元数据和数据分开管理并存储,并且使用数据复制来保证数据可靠性。论文以BlueOcean系统为基础,研究了海量分布式文件系统客户端的关键技术,设计实现了一款高性能的客户端程序。论文主要工作包括:1)对现有分布式文件系统进行了深入研究和分析;2)提出利用I/O流水线模型来分析并设计客户端的读写过程,提出改变分片大小及延长流水线时间能够改善读写的吞吐量;3)在I/O流水线实施框架内,提出了延迟写和预取两种优化策略;4)详细设计了客户端的软件结构,并且结合BlueOcean系统实现了客户端程序,并给出了详细测试结果。测试表明论文设计的客户端程序能够满足海量存储系统的存取需求,论文提出的优化策略对于性能的改善效果显著。论文的成果对于其它分布式文件系统的设计也具有较好的借鉴价值。

论文目录

• 摘要
• ABSTRACT
• 图目录
• 表目录
• 第一章 绪论
• 1.1 研究背景
• 1.1.1 海量存储需求
• 1.1.2 分布式文件系统
• 1.2 研究内容及目标
• 1.3 论文结构
• 第二章 分布式文件系统
• 2.1 海量存储系统
• 2.2 基于网络的文件系统
• 2.3 典型分布式文件系统
• 2.3 1 Lustre
• 2.3 2 GPFS
• 2.3.3 Google FS
• 2.4 分布式文件系统评价
• 2.5 本章小结
• 第三章 分布式文件系统BLUEOCtAN
• 3.1 Blue0cean系统架构
• 3.1.1 ChunkH服务器
• 3.1.2 元数据服务器
• 3.1.3 客户端
• 3.2 k2BLUEOCEAN内部交互过柙
• 3.2.1 写入过程
• 3.2.2 读取过程
• 3.3 小章小结
• 第四章 分布式文件系统客户端的设计与实现
• 4 1 用户态文件系统
• 4.1.1 FUSE实现机构
• 4.1.2 FUSE的性能开销
• 4.2 节点的通讯交互设计
• 4.2.1 持久链接
• 4.2.2 协议内容格式的设计
• 4.3 读I/O幻设计
• 4.3.1 流水线技术
• 4.3.2 写I/O的设计
• 4.3.3 读I/O的设计
• 4.3.4 流量控制
• 4.3.5 预取
• 4.4 客户端的程序实现
• 4.4.1 数据结构设汁
• 4.4.2 网络请求处理程序流程
• 4.4.3 元数据操作流程
• 4.4.4 读过程流程设计
• 4.4.5 写过程流程设计
• 4.5 小章小结
• 第五章 客户端性能测试
• 5.1 测试环境
• 5.2 I/O流水线测试
• 5.3 读I/O流水线测试
• 5.4 预取效果测试
• 5.5 多客户端测试
• 5.5.1 多客户端写入测试
• 5.5.2 多客户端读取测试
• 5.6 小章小结
• 第六章 总结与展望
• 6.1 本文总结
• 6.2 研究展望
• 参考文献
• 致谢
• 攻读硕士学位期间已发表或录用的论文