分布式存储系统中容错子系统的设计与实现

论文摘要

摘要分布式存储系统的应用已经越来越广泛。在存储系统中,可靠性是关键问题之一,保障数据的可用性必须要求存储系统提供多种方式来实现高可靠性。中文农业搜索引擎CFSEA是东北大学信息检索实验室开发的主题搜索引擎。它能够实现数据的分布式抓取和分布式存储。分布式存储系统是实现上述功能的基础。容错机制是分布式存储系统的一个重要组成部分,也是CFSEA中分布式存储系统的重要组成部分。当CFSEA运行时,容错机制负责对故障进行检测,容错以及故障后的系统恢复处理。因此,容错机制是CFSEA稳定性和可靠性的基础和保证。本文在深入研究的基础上,阐述了CFSEA分布式存储系统的体系结构,重点讨论了CFSEA容错部分的设计与实现。该容错系统设计过程时,在考虑到系统整体性能和容错机制的应用背景前提下,分析与对比几种常用的分布式容错机制,采取了几种更适合CFSEA的容错技术。该容错系统主要包括操作故障检测、操作集的自我恢复、副本机制、日志和检查点容错四个部分。故障检测用于检测数据块内容的正确性和服务器节点是否崩溃；操作集的自我恢复提供了对故障进行简单及时容错的能力；副本机制采用复制技术利用远程节点来对本地文件进行及时容错；日志和检查点机制通过日志记录和设置检查点来对主服务器崩溃故障进行恢复。最后的实验结果表明,添加了容错系统后,CFSEA系统的可靠性和可用性都大大提高。

论文目录

• 中文摘要
• Abstract
• 第一章 引言
• 1.1 研究背景
• 1.2 本文的主要工作
• 1.3 本文的组织结构
• 第2章 分布式存储系统及容错机制的相关技术
• 2.1 分布式存储技术简介
• 2.2 分布式存储系统
• 2.2.1 系统的读写规则
• 2.2.2 系统的访问模型
• 2.2.3 系统的服务器模式
• 2.3 容错机制的相关技术
• 2.3.1 容错性相关概念
• 2.3.2 容错性的相关指标
• 2.3.3 分布式存储系统中典型的故障
• 2.3.4 容错子系统的相关技术
• 2.4 本章小结
• 第3章 容错子系统的总体设计
• 3.1 容错系统的功能模块
• 3.2 故障检测模块
• 3.2.1 子服务器崩溃的检测
• 3.2.2 数据正确性校验
• 3.3 自我恢复模块
• 3.4 副本恢复模块
• 3.4.1 副本放置
• 3.4.2 复制副本的方法
• 3.5 主服务器崩溃处理模块
• 3.5.1 故障恢复模型
• 3.5.2 故障恢复技术
• 3.6 分布式存储系统容错系统的处理流程
• 第4章 容错子系统的实现
• 4.1 故障检测模块的实现
• 4.1.1 子服务器崩溃检测
• 4.1.2 数据正确性校验
• 4.2 自我恢复模块的实现
• 4.3 副本恢复模块的实现
• 4.3.1 副本的产生
• 4.3.2 利用副本进行容错
• 4.4 主服务器崩溃处理模块的实现
• 4.4.1 日志分配管理
• 4.4.2 日志结构
• 4.4.3 日志记录
• 4.4.4 检查点
• 4.4.5 故障恢复过程
• 第5章 测试和性能分析
• 5.1 测试环境
• 5.2 测试及结果分析
• 5.2.1 测试目的
• 5.2.2 测试过程
• 5.2.3 测试结果分析
• 第6章 结论
• 参考文献
• 致谢