海量网络存储系统可再生性的研究

论文摘要

本文围绕海量网络存储中数据容灾和容错机制的问题，主要研究了以下内容：在存储系统中，数据的损失是不可避免的，但是如何将这种损失降低到最低甚至完全避免了这种损失，成为本文研究的重点。保障数据的可用性必须要求存储系统提供多种方式来实现高可靠性。本文在仔细分析目前常见的海量存储系统结构的基础上，对系统层面的可靠性进行了探讨；对NAS和SAN的结构进行了分析并讨论了NAS和SAN的可靠性设计方案。随后详细的讨论了存储系统存取控制层实现可靠性的保障手段，分析了磁盘阵列各类级别的可靠性数学模型，进而对多盘故障恢复编码方案进行了研究。将编码技术应用在磁盘容错上，特别是磁盘阵列中，有助于提高存储系统的容错性。文中对迄今提出的Reed-Solomon、HOVER编解码进行了详细的研究分析，并以HOVER编码为蓝本提出了一种新的海量存储数据容错的编码方案，针对多盘容错问题提出了新的思路，引进了新的概念“步长”，提出了通过变换“步长”来达到高度容错的可能性，解决了当前HOVER编码在实现中很难解决高度容错的问题。同时本文所述的编码方法与Reed-Solomon编码的纠错方法进行了深入比较，本文所提出编码更适宜在磁盘阵列中并通过软件方法实现，其有效地提高了存取速度并发现了在进行大块数据传输时该编码方案出现的瓶颈问题。最后就本文编码方案的容错机制进行了模拟和测试。通过对该码的编解码过程的详尽讨论，分析了该码应用于海量网络存储中的优势，并在文中从理论上提出了该码用在磁盘阵类中的问题，指出了该码的高效的实时性和准确性，可以保障在阵列系统中的磁盘故障快速恢复和数据重建等，从而为存储系统的可靠性又提供了一条新的路径。

论文目录

• 摘要
• Abstract
• 目录
• 第1章 引言
• 1.1 网络存储的现状
• 1.2 网络存储的必要性和挑战
• 1.3 海量网络存储可再生性的研究目标
• 1.4 海量网络存储可再性研究的关键技术
• 1.5 本论文的组织结构和贡献
• 第二章 海量网络存储系统的结构
• 2.1 传统网络存储系统的拓扑结构
• 2.2 海量数据存储系统拓扑结构
• 2.2.1 磁盘阵列存储设施
• 2.2.2 磁带存储设施
• 2.2.3 网络存储系统管理
• 第三章 传统网络存储系统的可靠性
• 3.1 磁盘驱动器的可靠性分析
• 3.1.1 单个磁盘驱动器的可靠性
• 3.1.2 RAID0的可靠性及其数学模型
• 3.1.3 单盘失效时RAID的可靠性及其数学模型
• 3.1.4 双盘失效且系统可修复时RAID的可靠性及其数学模型
• 3.1.5 k个盘失效且系统可修复时RAID的可靠性及其数学模型
• 3.2 传统网络存储技术
• 3.2.1 网络附属存储NAS
• 3.2.2 存储区域网络SAN
• 3.2.3 IP存储网络IP SAN
• 3.2 系统的可靠性
• 3.2.1 系统的有效度
• 3.2.2 系统的可用性
• 第四章 海量网络存储系统中容错算法
• 4.1 存储系统中数据可靠性算法分类
• 4.1.1 MDS编码
• 4.1.2 RAC算法
• 4.1.3 LDPC算法
• 4.2 相关概念术语及其他编码
• 4.2.1 相关的概念术语
• 4.2.2 Reed-Solomon编码
• 4.2.3 Cauchy RS算法
• 4.2.4 HoVer编码
• 4.3 可再生性海量存储编解码过程
• 4.3.1 编码
• 4.3.2 解码
• 第五章 海量网络存储可再生性的性能测试及其分析
• 5.1 效率及性能分析
• 5.2 可再生网络存储编效率分析
• 5.3 可再生性海量网络存储编码与RS编码比较
• 第六章 结论
• 6.1 论文的工作总结
• 6.2 在其他领域应用展望
• 6.2.1 在网格中的应用
• 6.2.2 在下一代互联网中的应用
• 6.3 下一步工作
• 致谢
• 部分核心代码附录
• 参考文献
• 攻读学位期间公开发表论文