基于纠删码的分布式存储系统的设计与实现

论文摘要

计算能力的提高、因特网的发展和普及使得越来越多的人类活动信息被转化成数字形式,导致了数字化信息以前所未有的速度增长。而在当今社会条件下,对于绝大多数的用户而言,数据不论对于个人用户、企业还是一个国家来说都是至关重要。而数据存储也面临着前所未有的挑战,各种人为的或者自然灾害对用户数据构成了极大地威胁。所以,数据的安全存储就变得尤为重要。在分布式计算之后出现的基于计算机网络分布式存储可以很好的解决存储系统中数据的高可用性这一课题:高可扩展性,高可靠性和高效率。本文在研究传统存储系统中以完全复制技术引入冗余的基础上,针对其不足,将纠删码作为存储系统的冗余机制。纠删码技术在没有过量的存储空间开销的基础上,通过合理的额外存储来提供系统的高可靠性和高可用性。主要工作有以下几点:1.研究了纠删码的原理以及编解码算法,深入分析了纠删码技术在存储系统中的优势,总结和归纳了存储系统以及数据分散策略的研究现状。2.分析、实现了基于Vandermonde矩阵与基于Cauchy矩阵的RS纠删码编解码算法,并对其编解码性能进行测试,结果显示Cauchy RS纠删码性能明显高于Vandermonde RS纠删码。3.设计并实现了一种基于纠删码的分布式存储系统模型,详细设计了系统的各个模块:文件编解码模块、文件存储模块、文件下载模块以及文件更新删除模块等。并对其性能进行了测试分析。4.提出了一种非安全公开网络中的远端用户的身份认证技术,通过安全性分析可知非法用户要登录远端服务器并盗用服务器上的资源是不可行的。通过以上工作,本文将纠删码技术和分布式存储技术相结合,设计并实现基于纠删码的分布式存储系统,基本能够达到存储的高可用性,高安全性和高效率这样的目标。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 存储体系结构研究
• 1.2.1 RAID （Redundant Array of Independent/Inexpensive Disk）
• 1.2.2 DAS（Direct Attached Storage）
• 1.2.3 NAS（Network Attached Storage）
• 1.2.4 SAN（Storage Area Network）
• 1.2.5 IP 存储（Storage over IP）
• 1.3 分布式存储系统研究现状
• 1.4 数据分散策略研究现状
• 1.5 本文的组织
• 第二章 纠删码技术研究
• 2.1 纠删码原理
• 2.2 RS 纠删码
• 2.3 阵列纠删码（Array Codes）
• 2.3.1 EVENODD 码
• 2.3.2 X 码
• 2.4 纠删码与完全复制的比较
• 2.4.1 冗余度
• 2.4.2 数据可用性及容错能力
• 2.5 本章小结
• 第三章 基于纠删码的系统模型设计
• 3.1 系统模型概述
• 3.2 文件操作协议
• 3.2.1 文件存储过程
• 3.2.2 文件下载过程
• 3.2.3 文件更新与删除
• 3.3 MD5 算法介绍
• 3.4 Master 服务器的副本机制
• 3.5 本章小结
• 第四章 身份认证技术研究
• 4.1 SHA-1 算法介绍
• 4.2 身份认证方法
• 4.2.1 远端用户的认证过程
• 4.2.2 远端服务器中口令的修改过程
• 4.3 安全性分析
• 4.4 本章小结
• 第五章 服务器模型
• 5.1 循环服务器模型
• 5.2 并发服务器模型
• 5.2.1 多进程服务器
• 5.2.2 多线程服务器
• 5.3 本系统服务器模型
• 5.4 本章小结
• 第六章 测试结果
• 6.1 测试平台
• 6.2 测试结果
• 6.2.1 编解码示例
• 6.2.2 几种纠删码性能比较
• 6.2.3 系统性能测试
• 6.3 本章小结
• 第七章 结束语
• 7.1 本文小结
• 7.2 下一步研究方向
• 致谢
• 参考文献
• 攻读硕士学位期间发表论文