基于RS和Chord的分布式存储系统的设计

论文摘要

随着计算机网络技术的迅猛发展,办公自动化和企业信息化的不断普及,人们对数据存储的需求越来越高。单机所包含的磁盘容量己经不能满足人们的日常需要,这就要求有一种可靠的存储系统来连接地域上分散的磁盘空间,提供给各类用户。分布式存储技术对于解决存储系统中存储设备的分散性、I/O的并行性、协议的高效性提供了一种很好的手段。但随着存储规模的扩大,由于硬件故障、人员操作失误、病毒攻击、恐怖袭击、断电、火灾、地震等人为或自然灾害等原因,存储节点失效而导致整个系统发生故障的机率大大提高。为此,系统应具有良好的容错功能,保证数据的高可用性和系统运行的高可靠性。传统的分布式存储系统,功能全面,实现复杂,但在数据复制方式上采取文件复制或数据分块的方式,而没有采用编码的方式,在存储空间及带宽的利用率上还可以继续提高。基于纠删码技术的冗余容错方法可以为构造高可用性和高容错性的分布式存储系统提供了一种有效容错机制。文章综合比较、利用目前各系统的优点及研究成果,着重从编码算法入手,设计并实现尽量简单,高效,实用的分布式存储系统。文章首先分析并实现了基于Vander monde矩阵的RS算法。接着文章提出并初步实现了一种基于RS编码算法和Chord协议的分布式存储系统,详细分析了系统的关键技术:Chord协议在分布式存储中的应用。最后文章介绍了系统的体系结构,并针对实验测试数据进行了性能分析。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题背景
• 1.2 国内外研究现状
• 1.3 课题来源及本文的研究内容
• 第2章 DHT 简介
• 2.1 DHT 算法概述
• 2.1.1 DHT 的基本原理
• 2.1.2 DHT 的特点
• 2.1.3 DHT 的结构
• 2.2 Chord 协议
• 2.2.1 Chord 协议的发展历程
• 2.2.2 一致性哈希
• 2.2.3 Chord 协议的数据定位
• 2.3 Xml 简介
• 2.3.1 Xml 概述
• 2.3.2 Xml 的特点及其应用
• 2.3.3 Xml 进行数据交换
• 2.4 SHA-1 安全散列函数简介
• 2.5 本章小结
• 第3章 分布式存储系统中应用的纠删码技术
• 3.1 纠删码的原理
• 3.1.1 纠删码的特点
• 3.1.2 纠删码的关键技术
• 3.2 RS 类纠删码
• 3.2.1 范德蒙码
• 3.2.2 柯西码
• 3.3 阵列纠删码
• 3.4 分布式存储系统中纠删码的选择
• 3.5 本章小结
• 第4章 基于DHT 协议的分布式存储体系结构设计
• 4.1 体系结构
• 4.2 文件的编码与解码模块
• 4.2.1 基于Vandermonde 矩阵的RS 算法[38]的分析与实现
• 4.2.2 文件的分割
• 4.2.3 文件的恢复
• 4.2.4 大文件的处理
• 4.3 文件的分发与获取模块
• 4.3.1 Chord 协议改进
• 4.3.2 FingerTable 和SuccessorTable 的设计
• 4.3.3 数据块分发
• 4.3.4 数据块获取
• 4.3.5 Chord 节点动态加入和退出
• 4.4 动态维护模块
• 4.5 其它功能模块
• 4.6 本章小结
• 第5章 系统测试与性能分析
• 5.1 文件编解码模块的测试与分析
• 5.1.1 测试环境与测试结果
• 5.1.2 性能分析
• 5.1.3 数据可用性分析
• 5.2 文件分发与获取模块的测试与分析
• 5.2.1 测试环境
• 5.2.2 资源查询效率分析
• 5.2.3 文件插入开销分析
• 5.3 本章小结
• 结论
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢