基于moosefs分布式文件系统的研究和应用

论文摘要

随着公司规模和业务量的增加,相关的开发环境、业务数据也随之成倍的增长,于是独立服务器存储空问不足就成为了目前一个比较突出的问题,同时伴随而来的备份需求同样令人头疼。虽然公司内部有若干大容量的服务器可以用来保存相关数据,但由于其位于不同机房,一时难以组织,及时能够组织起来,也只能满足一段时间内的存储需求。于是这就要求对多台机器上的空闲空间加以组织利用,来提供更大的磁盘空间以突破单击存储的限制。现在有大量的企业采用共享存储服务器NFS的方式,来对应用数据进行网络存储。这种方法在规模较小、访问量低的时候还可以满足需求,但随着数据量结合访问量的增加,这种共享架构显得有些力不从心了,性能与用户体验会有不小的下降。除此之外,还要努力保证这台NFS服务器不能宕机,否则所有依赖共享提供数据的应用就不再可用。考虑到NFS存在的性能瓶颈和单点故障,分布式文件存储系统主机开始流行起来。采用分布式文件系统后,服务器之间的数据访问不再是一对多的关系(1个NFS服务器,多个NFS客户端),而是多对多的关系。这样一来,性能得到大幅提升,同时可靠性也高了许多。为此,本文将从对传统的分布式系统的调研开始,对比各个分布式文件系统的优缺点,并着重针对moosefs分析其架构和实现的原理,最终将其应用在我们实际的系统环境中。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 选题背景和意义
• 1.2 分布式文件系统现状
• 1.3 分布式文件系统研究综述
• 1.4 分布式文件系统的新需求
• 1.5 本论文的主要研究工作
• 1.6 论文结构
• 第二章 分布式文件系统架构
• 2.1 分布式文件系统的关键技术
• 2.1.1 分布式文件系统的实现方法
• 2.1.2 分布式文件系统的缓存技术
• 2.1.3 文件共享语义
• 2.1.4 分布式存储
• 2.1.5 服务流程
• 2.2 分布式文件系统中的高可用技术
• 2.2.1 硬件系统的高可用技术—冗余配置技术
• 2.2.2 软件系统的高可用技术—设计快速的重启模式
• 2.3 分布式文件系统的其他高可用技术
• 2.3.1 系统失效侦测
• 2.3.2 系统失效处理
• 2.3.3 复制技术
• 2.3.4 服务连续性处理
• 2.3.5 日志式存储管理
• 2.4 本章总结
• 第三章 现有分布式文件系统的研究对比
• 3.1 分布式文件系统的发展
• 3.2 NFS文件系统
• 3.2.1 NFS的设计目标
• 3.2.2 NFS设计原理
• 3.2.3 NFS架构分析
• 3.2.4 NFS文件和目录操作
• 3.2.5 NFS协议
• 3.2.6 NFS的服务模式
• 3.2.7 NFS的优劣分析
• 3.3 AFS文件系统
• 3.3.1 AFS的基本概念
• 3.3.2 AFS的架构设计
• 3.3.3 AFS的其他特性
• 3.3.4 AFS的优劣分析
• 3.3.5 AFS的发展
• 3.4 GFS分布式文件系统
• 3.4.1 GFS设计概述
• 3.4.2 GFS系统接口
• 3.4.3 GFS体系结构
• 3.4.4 单独的Master
• 3.4.5 块规模
• 3.5 本章总结
• 第四章 分布式文件系统MooseFS的研究
• 4.1 MooseFS的架构
• 4.2 MFS的读写原理
• 4.2.1 MooseFS的读数据过程
• 4.2.2 MooseFS的写数据过程
• 4.3 MooseFS的工作过程
• 4.4 MooseFS的容错处理
• 4.5 MFS的特性分析
• 4.6 MFS的使用现状
• 4.7 MFS的选择根据
• 4.8 本章总结
• 第五章 MFS的部署应用
• 5.1 MFS的安装部署
• 5.1.1 元数据服务器安装和配置（master server）
• 5.1.2 数据存储服务器安装和配置（chunk server）
• 5.1.3 MFS客户端安装和配置（client server）
• 5.1.4 元数据日志服务器安装和配置（metalogger server）
• 5.2 MFS的使用
• 5.2.1 挂载文件系统
• 5.2.2 设定文件拷贝到份数
• 5.2.3 设定删除文件的隔离时间
• 5.2.4 制作快照
• 5.3 MFS的维护
• 5.3.1 启动MooseFS
• 5.3.2 停止MooseFS
• 5.3.3 MooseFS chunkservers的维护
• 5.3.4 MooseFS元数据的备份
• 5.3.5 MooseFS master的恢复
• 5.3.6 WEB GUI示例
• 5.4 MFS的功能测试
• 5.4.1 测试数据存储服务器
• 5.4.2 测试元数据服务器
• 5.5 MFS的性能测试结果
• 5.5.1 大文件测试
• 5.5.2 小文件测试
• 5.5.3 随机读写测试
• 5.5.4 顺序读写测试
• 第六章 总结与展望
• 6.1 全文总结
• 6.2 存在的问题和展望
• 致谢
• 参考文献