集群文件系统关键技术的研究与实现

论文摘要

文件系统对计算机的输入输出能力有着重要的影响,它伴随着存储技术的进步已经由传统的主机方式向集群方式发展,并在应用中占有举足轻重的地位。本文在充分分析当前主要网络存储技术的基础上,研究并设计了基于SAN环境的集群文件系统一SANFS在Linux系统上的体系结构及其锁管理、缓存、服务质量等关键技术。SANFS采用数据流和元数据控制流分离访问的方式避免网络和主机带来的性能瓶颈。测试表明,SANFS文件系统在Linux系统上的实现已经达到了良好的I/O性能。集群文件系统的数据高可用性方式及容量高可扩展方式也是本文研究的内容之一。本文设计的SANFS的动态镜像模型利用镜像算法使SANFS在不停止服务的基础上提高存储数据的可用性,并通过I/O路径选择算法充分利用各个存储节点的性能。在SANFS扩容的基础上,本文研究与设计负载均衡策略针对不同的应用需求增加存储设备访问的并行度。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 网络存储技术
• 1.2.1 主要的网络存储技术
• 1.2.2 网络存储技术的比较
• 1.2.3 网络存储与文件系统
• 1.3 基于SAN环境的集群文件系统及其关键技术分析
• 1.4 本文主要的研究成果
• 1.5 论文的组织结构
• 第二章 SANFS总体结构设计
• 2.1 SANFS体系结构
• 2.2 SANFS系统协议分析
• 2.2.1 CIFS协议介绍
• 2.2.2 SANFS叠加协议与方言
• 2.3 SANFS缓存管理
• 2.3.1 文件数据缓存机制
• 2.3.2 LMC缓存机制
• 2.3.3 DMC缓存机制
• 2.4 SANFS锁管理
• 2.4.1 SANFS Opportunistic Locks
• 2.4.2 SANFS DOOR Lock
• 2.5 SANFS服务质量
• 2.5.1 SANFS-QoS模型
• 2.5.2 QoS自适应算法
• 2.6 本章小结
• 第三章 SANFS系统核心实现与性能分析
• 3.1 SANFS的软件体系结构
• 3.1.1 Client体系结构
• 3.1.2 MDS体系结构
• 3.2 系统核心过程
• 3.2.1 Client核心过程
• 3.2.2 MDS核心过程
• 3.3 文件操作
• 3.3.1 打开关闭文件
• 3.3.2 读写文件
• 3.3.3 文件的内存映射
• 3.3.4 文件的hole
• 3.4 SANFS文件系统性能测试与分析
• 3.4.1 IP环境下SANFS系统性能测试与分析
• 3.4.2 FC环境下SANFS系统性能测试与分析
• 3.4.3 测试结论
• 3.5 本章小结
• 第四章 集群文件系统数据动态高可用性研究与实现
• 4.1 数据高可用技术
• 4.1.1 数据复制
• 4.1.2 RAID
• 4.1.3 集群文件系统容错技术
• 4.2 SANFS-RAID总体设计与关键算法
• 4.2.1 软件体系结构
• 4.2.2 SANFS-RAID的几个阶段
• 4.2.3 SANFS-RAID实现的若干问题
• 4.2.4 镜像同步算法
• 4.2.5 与传统RAID方式的比较
• 4.3 I/O路径选择
• 4.3.1 I/O路径选择与负载均衡
• 4.3.2 SANFS-RAID的I/O路径选择
• 4.4 SANFS-RAID可用性及性能分析
• 4.5 本章小结
• 第五章 集群文件系统容量可扩展性的研究与实现
• 5.1 集群文件系统容量可扩展性综述
• 5.1.1 集群文件系统容量可扩展性分析
• 5.1.2 容量扩展与数据迁移
• 5.1.3 传统容量扩展模型的不足
• 5.1.4 容量可扩展性面临的挑战
• 5.2 SANFS的容量扩展与负载均衡
• 5.2.1 轮循法
• 5.2.2 剩余存储空间权重算法
• 5.2.3 性能权重算法
• 5.3 本章小结
• 第六章 总结与展望
• 致谢
• 参考文献
• 作者在学期间取得的学术成果