分布式文件存储平台文件备份与恢复系统设计与实现

论文摘要

随着互联网络飞速发展,数据量呈现海量增长,单机存储无法满足需求,分布式存储应运而生并且取得了较大的发展。系统中的数据由于自然灾害、异常故障等原因会遭到破坏,因而需要对数据进行备份加以保护,当数据遭到破坏时能够从备份数据中迅速恢复。论文结合课题组研制的分布式存储平台—钱塘分布式文件服务平台,研究基于该平台的海量数据文件的备份与恢复问题,包括备份的高效性、一致性、可靠性和快速恢复等问题。在高效性方面,论文结合分布式文件存储平台中文件有冗余的特点,建立了多源下载备份模型,可以根据文件大小、负载平衡等因素从多个存储节点下载文件进行备份。在一致性方面,论文采用了快照技术,可以瞬间得到系统的快照进行在线备份,并且可以进行增量备份和差量备份。在可靠性方面,论文通过记录备份和恢复的断点位置,实现了断点备份恢复,保证在突发故障的情况下备份恢复的连续性。在系统恢复方面,为了提高恢复效率采用了多线程恢复机制,该机制根据系统负载平衡,同时选择多个节点并发恢复文件。为了实现对备份与恢复的管理,论文提出了备份索引方法,记录每次备份过程的信息和备份后文件的相关信息,并且基于备份过程建立了模型,方便系统备份与恢复管理工作。采用论文所提的模型,基于钱塘分布式文件服务平台,论文实现了备份恢复的高效性,可靠性和备份一致性。系统测试数据表明系统能在允许用户正常访问的情况下高效的备份文件,发生故障时能够快速的恢复文件,并且能够进行断点备份恢复。

论文目录

• 摘要
• Abstract
• 目录
• 图目录
• 表目录
• 第1章 绪论
• 1.1 背景与意义
• 1.1.1 分布式存储
• 1.1.2 备份恢复
• 1.2 国内外研究现状
• 1.2.1 商业产品
• 1.2.2 学术研究
• 1.3 论文研究背景与论文结构
• 1.4 本章小结
• 第2章 备份恢复系统体系架构
• 2.1 系统概述
• 2.1.1 系统模型
• 2.1.2 系统结构
• 2.1.3 虚拟文件系统简介
• 2.2 备份恢复总体设计
• 2.3 备份恢复的关键问题
• 2.3.1 高效性
• 2.3.2 一致性
• 2.3.3 可靠性
• 2.3.4 备份恢复索引的建立
• 2.4 本章小结
• 第3章 备份恢复关键问题研究
• 3.1 高效性
• 3.1.1 文件的分割
• 3.1.2 静态下载模型
• 3.1.3 动态下载模型
• 3.1.4 文件选取算法
• 3.2 备份的一致性
• 3.2.1 锁和快照技术
• 3.2.2 在线备份
• 3.2.3 增量快照
• 3.2.4 差量快照
• 3.3 备份的可靠性
• 3.4 恢复的设计
• 3.4.1 多线程恢复机制
• 3.4.2 断点恢复
• 3.5 本章小结
• 第4章 备份恢复索引的设计
• 4.1 问题的提出
• 4.2 备份元数据的设计
• 4.2.1 备份作业设计
• 4.2.2 备份文件元数据设计
• 4.3 基于备份作业的恢复模型
• 4.4 恢复查找的设计
• 4.4.1 索引的建立
• 4.4.2 查找分析
• 4.5 仿真验证及性能分析
• 4.6 本章小结
• 第5章 系统实现与测试
• 5.1 备份恢复模块类图
• 5.1.1 高效备份
• 5.1.2 快照设计
• 5.1.3 备份索引设计
• 5.2 系统界面
• 5.2.1 客户端上传下载过程
• 5.2.2 备份系统启动
• 5.2.3 备份过程
• 5.2.4 恢复过程
• 5.3 性能测试
• 5.3.1 测试环境
• 5.3.2 测试数据及结果分析
• 5.3.3 测试总结
• 5.4 本章小结
• 第6章 总结与展望
• 6.1 全文工作总结
• 6.2 未来工作展望
• 参考文献
• 致谢
• 作者简历