大规模分布式存储系统副本管理研究与实现

论文摘要

随着互联网迅速的发展,数据量呈指数增长,用户对海量数据的存储和处理需求加大,传统的数据库集中存储已经不能满足需求,利用网络进行分布式存储成为趋势。如何在复杂的网络环境中搭建可用和可靠的分布式存储系统,已经成为热点问题。P2P技术的出现和发展推动了网络存储技术的发展。如今,国际互联网公司又提出“云存储”的概念,向用户提供可靠方便的服务。现有的许多分布式存储系统,采用集中式管理,没有充分考虑和利用客户端之间的通信带宽提供更高效的服务。本文首先对分布式存储和P2P技术进行分析,结合当前国内外研究现状和发展态势,设计出高效的基于P2P的分布式海量数据存储系统,由端系统以及服务器系统构成覆盖网络,并且向终端存储演进。本文的主要工作有以下几点:第一,通过对现有P2P技术和分布式存储技术的研究与分析,设计了出了一个基于P2P的分布式存储系统,不再由中心节点对元数据进行集中管理,而是将元数据的存储和管理分散到系统的各个节点上。实现存储系统的基本功能,包括文件的发布、更新、删除和下载。第二,副本管理模块的设计和实现。在复杂的网络环境中,节点间存在传输速率和带宽的区别,也有节点失效的风险,副本管理模块依据客户端所发送二次请求频率对副本的冗余度进行管理,在保证数据的可靠性的前提下又不占用过多存储空间。副本管理模块还对副本的一致性进行管理,保证用户的下载和更新等操作都对统一的版本进行,但是多个副本的一致性更新操作将占用较大网络带宽,本模块实行可延后机制,在网络空闲或用户需要对文件进行操作时才进行数据一致性同步。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 背景介绍
• 1.2 研究内容
• 1.3 论文组织
• 1.4 本章小结
• 第二章 基础理论与相关技术
• 2.1 传统存储模型
• 2.2 分布式存储模型
• 2.2.1 GFS
• 2.2.2 Hadoop
• 2.2.3 MogileFS
• 2.3 P2P 技术
• 2.3.1 P2P 模式的特性
• 2.3.2 P2P 存储系统结构
• 2.4 副本管理技术
• 2.4.1 副本管理技术简介
• 2.4.2 副本管理策略
• 2.4.3 副本管理研究概况
• 2.5 本章小结
• 第三章 系统概述
• 3.1 系统需求分析
• 3.2 系统框架
• 3.3 系统各模块功能
• 3.3.1 控制模块
• 3.3.2 DHT 模块
• 3.3.3 文件模块
• 3.3.4 副本管理模块
• 3.4 系统基本流程
• 3.4.1 文件发布流程
• 3.4.2 文件下载
• 3.4.3 文件删除
• 3.4.4 文件更新
• 3.5 本章小结
• 第四章 副本管理策略的研究与设计
• 4.1 副本管理策略研究目的
• 4.2 副本冗余度控制策略
• 4.2.1 现有模式研究
• 4.2.2 副本冗余度管理策略设计
• 4.3 副本存储节点选择策略
• 4.3.1 现有模式研究
• 4.3.2 存储节点选择策略
• 4.4 副本一致性策略
• 4.4.1 现有策略研究与分析
• 4.4.2 副本一致性策略设计
• 4.5 本章小结
• 第五章 副本管理模块实现
• 5.1 系统底层模块
• 5.1.1 存储模块
• 5.1.2 定时器模块
• 5.1.3 内存管理模块
• 5.1.4 网络通信模块
• 5.1.5 任务模块
• 5.2 副本管理模块
• 5.2.1 冗余度管理
• 5.2.2 副本存储节点选择
• 5.2.3 副本一致性机制实现
• 5.3 本章小结
• 第六章 系统测试
• 6.1 测试计划
• 6.2 测试环境
• 6.3 系统基本功能
• 6.3.1 文件发布
• 6.3.2 文件下载
• 6.3.3 文件更新
• 6.3.4 文件删除
• 6.4 副本管理模块测试
• 6.4.1 基本功能测试
• 6.4.2 性能测试
• 6.5 本章小结
• 第七章 结论与展望
• 致谢
• 参考文献