分布式文件系统容错能力测试平台的设计与实现

论文摘要

随着现代信息技术的飞速发展,人们对存储系统的容量、性能提高要求的同时,也越来越注重容错能力。作为存储系统管理核心层次的分布式文件系统,也毋庸置疑需要具有较高的容错能力,与此同时,对分布式文件系统的容错能力进行测试,以保证系统质量也随之变得尤为重要。本文对传统的容错性测试进行了深入研究,发现传统的分布式文件系统容错能力测试有两点不足,一是故障注入主要采用手工方式,不但浪费人力和时间,而且也增加了人为错误发生的概率,导致测试准确度降低;二是只考虑了服务器级别的故障,覆盖面不全。本文对此进行了改进,设计并实现了自动化分布式测试平台,将分布于目标系统各个节点的故障注入工具、工作负载模拟工具和系统监测工具集成在一起,测试人员在平台主控端即可进行完整的测试;此平台实现了多层次的故障注入,故障集覆盖到服务器级、目录级和文件级,可注入服务器失效、目录文件操作失败等故障,提高了故障覆盖率。本文对所依托项目要求的分布式文件系统的架构、容错机制以及传统容错性测试指标进行了研究,根据目标系统的特点,采用服务连续性、对外服务延迟时间和服务性能降级比三个指标来测试目标系统容错能力。在测试过程中,平台的各个工具相互配合,针对故障注入工具所注入的不同故障以及预测指标的要求,监测工具会给出相应的监测结果,工作负载模拟工具可以模拟相应的工作负载配合测试,测试人员可以根据监测结果以及负载运行情况,给出最后的测试结果。最后,本文利用所开发的平台对目标文件系统进行了测试,验证了测试平台的可用性,并给出了测试结果与分析。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题背景
• 1.2 分布式文件系统容错性研究现状
• 1.2.1 完全复制技术
• 1.2.2 服务器复制技术
• 1.2.3 快速恢复重启服务器技术
• 1.2.4 共享磁盘技术
• 1.2.5 奇偶校验技术
• 1.2.6 RAID 技术
• 1.2.7 其他技术
• 1.2.8 容错性测试方法
• 1.3 本文主要研究内容
• 第2章 分布式文件系统容错能力测试研究
• 2.1 ADFS 和BDFS 系统架构层次
• 2.1.1 ADFS 文件系统
• 2.1.2 BDFS 文件系统
• 2.2 服务器级容错能力测试
• 2.2.1 容错机制
• 2.2.2 故障集
• 2.2.3 测试指标
• 2.2.4 各指标测试方法
• 2.3 目录文件级容错能力测试
• 2.3.1 容错机制
• 2.3.2 故障集
• 2.3.3 测试指标与测试方法
• 2.4 本章小结
• 第3章 测试平台的设计与实现
• 3.1 总体架构设计
• 3.1.1 设计架构
• 3.1.2 平台特点
• 3.1.3 故障注入流程
• 3.1.4 监测指令注入流程
• 3.1.5 工作负载模拟流程
• 3.2 服务器级故障注入工具的设计与实现
• 3.2.1 服务器级故障注入工具结构
• 3.2.2 故障注入原理
• 3.3 目录文件级故障注入工具的设计与实现
• 3.3.1 目录文件级故障注入工具结构
• 3.3.2 故障注入原理
• 3.3.3 劫持系统调用的具体实现
• 3.3.4 用户空间与内核的数据传输
• 3.3.5 全局控制量
• 3.4 监测工具的设计与实现
• 3.4.1 监测内容
• 3.4.2 监测工具结构
• 3.5 工作负载模拟工具的设计与实现
• 3.6 管理模块的设计与实现
• 3.6.1 管理模块总控类的定义
• 3.6.2 管理模块控制流程
• 3.7 通信模块的设计与实现
• 3.7.1 算法流程
• 3.7.2 存储分配
• 3.8 本章小结
• 第4章 实验结果与分析
• 4.1 测试环境
• 4.2 测试结果与分析
• 4.2.1 服务器级故障容错能力测试
• 4.2.2 目录故障级故障容错能力测试
• 4.3 本章小结
• 结论
• 参考文献
• 读学位期间发表的学术论文
• 致谢