分布式存储系统文件级连续数据保护技术研究

论文摘要

随着信息时代数据规模的急剧增长和数据价值的不断提升,存储系统必须具有良好的可扩展性并采取有效的措施来保障用户数据的可靠性、安全性和存取的高性能。为了适应信息时代海量数据对存储系统各方面性能的需求,分布式存储系统成为了研究热点,它满足了海量数据对系统可扩展性的要求,同时又能利用体系结构优势增加系统的可靠性和性能。而另一方面由于计算机病毒、黑客攻击以及人为误操作等造成的数据失效,以及一些对数据历史要求严格,或对备份窗口敏感的应用,则需要存储系统尽可能减少数据恢复点时间间隔(RPO)。传统的数据备份技术已经不能很好的适应这些新出现的需求。连续数据保护技术(CDP)可以解决这样的问题,通过将数据保护扩展到实时,RPO缩小到了每次数据改写,连续数据保护技术能为关键应用提供充分技术支撑。面向分布式存储系统的连续数据保护技术将为存储系统提供连续时间上的数据保护,同时存储系统分布式体系结构的并行性又能优化连续数据保护带来的性能和容量开销,其可扩展性又可以解决备份数据不断增长的问题。融合了连续数据保护元数据管理的分布式文件系统将为分布式存储系统提供文件级的连续数据保护功能。在研究现有连续数据保护机制的基础上,面向分布式存储环境设计了一种的将分布式文件系统元数据管理机制以及连续数据保护元数据管理机制结合起来的文件系统。扩展了传统的元数据组织结构,由一维增加时间维度变为二维,从而很好的实现了连续数据保护元数据管理的融合,并且针对连续数据保护应用优化了元数据管理策略,使得在数据保护与数据恢复时的时间开销得以降低。同时得益于文件系统级的实现方式,通过历史元数据的运用使得文件的历史视图的实现变得简单,系统可以在极低开销的情况下提供指定文件任意时间点历史的查看。为了进一步减小应用连续数据保护功能而带来的时间开销,研究了在分布式环境下充分利用系统架构进行优化的方法。通过设计合适的数据分条分配及管理策略,可以在数据操作过程中充分利用分布式系统的并行度。通过设计针对连续数据保护的读预取及写合并等方法,使得在数据传输、备份、恢复时能充分利用分布式系统的并行度,进一步减少应用连续数据保护所带来的性能开销。针对文件内数据移动这种造成连续数据保护效率极大下降的情况,研究并扩展了标准的POSIX文件系统接口,提出了插入写及删除写语义。新的应用程序利用这两个语义可以直接提高连续数据保护的效率。对于传统应用程序,研究并设计了客户端针对数据改写行为的各种侦测方法,在用户程序透明的情况对插入写及删除写操作进行识别并提取插入数据、删除数据的详细信息,为元数据服务器进一步处理做准备。为了进一步减少备份数据量,研究了基于数据内容比较的方法,以消除重复数据备份以及精确的获取每次数据改变的字节级信息来实现差异数据备份。得益于基于对象的存储服务器实现,将基于数据分条内容的数据备份元数据封闭在存储服务器内部,做到对分布式文件系统元数据管理最小的影响。在不影响数据传输而又充分利用存储节点计算能力的前提下,研究并优化了差异数据备份的策略。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 数据可靠性需求
• 1.2 连续数据保护技术发展现状及面临的挑战
• 1.3 分布式存储技术研究现状
• 1.4 分布式存储系统应用连续数据保护的优势
• 1.5 本文研究目的、思路和主要内容
• 1.6 课题的来源
• 2 连续数据保护的元数据管理
• 2.1 引言
• 2.2 优化连续数据保护的元数据管理策略
• 2.3 连续数据保护性能影响因素的理论分析
• 2.4 相关实验及结果分析
• 2.5 本章小结
• 3 多并行度的分布式连续数据保护机制
• 3.1 引言
• 3.2 并发读写操作优化
• 3.3 并行数据保护及数据恢复操作优化
• 3.4 性能改进的理论分析
• 3.5 相关操作的对比测试
• 3.6 本章小结
• 4 数据移动的文件系统语义
• 4.1 引言
• 4.2 插入写操作的文件系统语义
• 4.3 删除写操作的文件系统语义
• 4.4 客户端实现机制
• 4.5 性能开销与备份数据量的理论分析
• 4.6 相关测试及结果分析
• 4.7 本章小结
• 5 基于数据分条的差异数据备份策略
• 5.1 引言
• 5.2 针对备份数据量的元数据管理优化策略
• 5.3 针对分条数据的差异数据备份策略
• 5.4 差异化操作性能开销的理论分析
• 5.5 相关测试及结果分析
• 5.6 本章小结
• 6 全文总结
• 6.1 总结
• 6.2 本文的主要创新点
• 6.3 未来工作展望
• 致谢
• 参考文献
• 附录1 攻读博士学位期间发表论文目录