基于Linux平台的异步远程卷复制系统的研究

论文摘要

目前,越来越多的企业应用需要以24×7的方式运行,但不可预计的事件会造成数据丢失,严重地影响企业的可持续运营,给企业造成了巨大的损失。而实时的容灾系统可以满足企业的需求,它利用远程数据复制系统来减小或消除了数据的损失,并且利用备份的数据进行快速恢复。高效的远程数据复制系统已成为容灾系统的核心研究内容,但它的复杂性却没有得到相应的关注,对远程数据复制技术优化的研究少之又少,致使关键数据没有得到应有的保护。本文在研究和分析现有数据复制系统和相关技术的基础上,在Linux平台上设计并实现了异步远程逻辑卷复制系统ARVRL (Asynchronous Remote Volume Replicator for Linux),此系统优化了传统的异步复制技术。系统利用普通的IP网络来为本地卷设备提供一个远程的实时备份,既确保了容灾所需要的距离,也摆脱了对特殊网络设备的依赖;系统采用异步传输模式以减小对上层应用程序性能的影响,在复制过程中支持覆盖写以解决写冲突问题,减少了通信链路传输的数据量;系统独立于任何卷管理器,可以支持任何卷设备,其通用性好。本文对数据复制的相关技术进行了简单的讨论和研究,然后分析和讨论了ARVRL系统的整体功能和实现方法。主要工作可以概括为:(1)详细介绍数据复制技术的设计目标、实现策略和设计模式,并深入探讨了数据一致性维护的方法。(2)介绍了ARVRL系统的基本概念、系统结构、工作流程、状态机设计等。(3)依据写请求的数据处理流程,对整个复制过程进行了合理的划分,使得各个模块相对独立,减少各组件的耦合度。(4)在Linux平台上开发一个远程复制虚拟块设备,来截获主端上层应用程序的写请求,并进行相应的复制处理。(5)设计了提交单元的传播机制,在保证基于窗口的数据一致性的基础上,允许覆盖写,并设计动态调整合并周期大小的公式,以平衡网络负载的减少量和数据丢失量之间关系。最后,在现有的条件下对该系统进行了功能和性能测试,证实了本系统是一种通用性很强、经济的数据复制技术,系统的优化方案也有一定的理论参考价值。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 研究现状
• 1.3 课题来源和主要工作
• 1.4 论文结构
• 第二章 相关技术的研究
• 2.1 数据容灾的研究
• 2.1.1 数据容灾的重要性
• 2.1.2 数据容灾技术分析
• 2.1.3 数据容灾解决方案的比较
• 2.2 Linux 块设备驱动技术的研究
• 2.2.1 Linux 内核的块设备驱动接口
• 2.2.2 Linux 块设备驱动的请求处理
• 2.2.3 Linux 虚拟块设备驱动的请求处理
• 2.3 卷设备管理
• 2.3.1 基本概念
• 2.3.2 LVM 介绍
• 2.4 本章小结
• 第三章 远程数据复制技术的研究
• 3.1 远程数据复制技术
• 3.1.1 设计目标
• 3.1.2 数据复制实现位置
• 3.1.3 复制模式
• 3.2 数据一致性研究
• 3.3 ARVRL 数据一致性的维护
• 3.4 本章小结
• 第四章 系统的整体设计
• 4.1 系统总体结构
• 4.1.1 ARVRL 的基本组成
• 4.1.2 ARVRL 的结构框架
• 4.2 系统的工作原理
• 4.2.1 数据流程图
• 4.2.2 状态机设计
• 4.3 ARVRL 系统模块的设计
• 4.3.1 用户命令
• 4.3.2 请求截获
• 4.3.3 主数据处理模块
• 4.3.4 从数据处理模块
• 4.3.5 网络通讯模块
• 4.3.6 传输协议的设计
• 4.3.7 模块间的关系
• 4.4 本章小结
• 第五章 系统关键技术的设计
• 5.1 提及单元传播机制
• 5.1.1 写冲突现象的研究
• 5.1.2 提交单元的结构
• 5.1.3 提交单元的合并处理
• 5.1.4 动态调整合并时间周期
• 5.2 日志机制
• 5.2.1 ARVRL 日志的特点
• 5.2.2 ARVRL 日志的组织结构
• 5.2.3 ARVRL 日志的部署
• 5.2.4 日志溢出保护
• 5.4 从端滞后保护机制
• 5.5 网络带宽限制机制
• 5.5.1 限制RLINK 网络带宽的用处
• 5.5.2 限制RLINK 网络带宽的实现
• 5.6 本章小结
• 第六章 系统实验测试与分析
• 6.1 构建试验环境
• 6.2 功能测试
• 6.3 性能测试
• 6.4 本章小结
• 第七章 总结
• 7.1 论文工作总结
• 7.2 后继工作
• 致谢
• 参考文献
• 攻硕期间取得的成果