基于存储虚拟化的快照与CDP设计

论文摘要

科学计算正在从传统的以计算为核心的计算密集型时代转向以数据为核心的数据密集型超级计算的时代，数据已经逐渐成为企业或机构运转的枢纽与支柱，任何形式的数据损坏都可能带来无法估量的损失。传统的数据保护技术大多注重于如何对某几个存储节点或某几项应用进行有效的保护，难以应对存储系统向着超大容量、网络化和虚拟化方向发展过程中出现的新问题，如存储系统的组织与结构变得日益复杂，运行于存储系统之上的各类应用服务也是五花八门。本文基于存储虚拟化设计了逻辑卷高性能快照和高效连续数据保护系统，基于存储虚拟化平台进行设计既能够兼容大规模存储系统中异构的底层物理设备，又能适应上层多种类型应用服务的需求。本文的主要工作如下：1.提出了一种基于存储虚拟化系统的高性能快照方法，LVHPsnap，它通过可扩展的元数据组织策略，能够灵活使用多种类型的快照适应不同应用的需求；通过以Finesnap卷、Checkpoint卷两种类型快照卷构建混合快照链表和压缩快照索引数据实现了高性能快照，以高频度生成快照时，系统能保持较高的性能和存储空间利用率。基于真实工作负载和基准测试程序的实验表明，在构建混合快照链表的条件下，LVHPsnap的性能和存储空间利用率随Finesnap卷的比例增加而提高；2.引入自适应快照机制，通过监控数据块修改频度，使自动生成快照的时间间隔随应用负载的变化动态调整，根据被保护数据的修改频率调节生成快照的频率，既达到自动保留有用历史数据的要求，又保证较好的系统性能与空间利用率，实现数据按需保护。该机制具有自适应应用负载变化、实现简单几乎不影响读写性能和使用灵活方便的优点。3.提出了一种高效灵活的CDP实施方案，该方案便于在存储虚拟化环境中部署，对存储系统的读写性能影响较小，能方便地恢复到任意时间点的数据状态，并且采用带外拷贝机制避免了CDP初始化过程中的存储服务停顿。

论文目录

• 摘要
• Abstract
• 目录
• 插图索引
• 第1章 绪论
• 1.1 课题背景
• 1.2 研究现状
• 1.3 本文的主要工作
• 1.4 本文的组织结构
• 第2章 大规模存储系统的数据组织与保护
• 2.1 存储虚拟化
• 2.1.1 存储虚拟化的意义
• 2.1.2 存储虚拟化的实现方式
• 2.1.3 带内存储虚拟化与带外存储虚拟化
• 2.2 快照技术
• 2.2.1 快照存储类型
• 2.2.2 快照的使用方法
• 2.2.3 快照与镜照、复制的区别
• 2.3 CDP 技术
• 2.3.1 CDP 技术的特点
• 2.3.2 CDP 技术的实现方式
• 2.3.3 CDP 技术的分类
• 2.4 小结
• 第3章 基于存储虚拟化的逻辑卷快照设计
• 3.1 系统设计
• 3.1.1 系统体系结构
• 3.1.2 可扩展的元数据组织策略
• 3.1.3 元数据一致性保证策略
• 3.2 高性能快照技术
• 3.2.1 混合快照链表技术
• 3.2.2 快照卷索引数据压缩
• 3.3 自适应快照机制
• 3.3.1 应用负载感知
• 3.3.2 生成新快照的判定策略
• 3.3.3 自适应快照算法
• 3.4 实验
• 3.4.1 创建多个快照卷时源卷的读写性能测试
• 3.4.2 快照卷读性能测试
• 3.4.3 快照卷空间使用对比
• 3.4.4 自适应快照测试结果
• 3.5 小结
• 第4章 基于存储虚拟化的 CDP 实施方案
• 4.1 存储系统的 CDP 需求
• 4.2 CDP 实施方案
• 4.2.1 体系结构
• 4.2.2 数据结构组织
• 4.2.3 历史数据保存与数据恢复
• 4.3 带外拷贝的初始化机机制
• 4.4 实验
• 4.4.1 写性能测试
• 4.4.2 读性能测试
• 4.5 小结
• 结论
• 参考文献
• 致谢
• 附录A 攻读学位期间所发表的学术论文
• 附录B 攻读学位期间参加的科研项目