基于DHT的key-value分布式存储系统

论文摘要

随着P2P（peer to peer）模式的兴起、网络带宽的大幅增加和Internet端系统计算能力的迅速增强,原来一直被忽视的终端成为了宝贵的资源。如何充分利用这些终端资源,在高动态的网络环境中构建大规模、高可扩展性、高可靠性、高性能的存储系统,成为近年来的研究热点之一。本文中,首先介绍了P2P的基础知识并讨论和总结了分布式存储的相关技术,并在对P2P存储相关技术的研究现状进行了系统、全面分析和总结的基础上,实现了一种基于DHT（Distributed Hash Table）的key-value分布式存储系统AnyStorage,该系统不但吸取了结构化网络的优点,同时也利用了混合非集中式的优点来避免结构化网络的缺点。AnyStorage是一种基于DHT的key-value分布式存储系统,它旨在基于普通的PC架构上,为用户提供高可靠性,高扩展性的存储性能。AnyStorage主要由2部分构成,一部分是普通的AnyStorage节点,另一部分则是超级管理维护节点SMP（Super Maintenance Peer）。所有的AnyStorage节点在逻辑上构成一个DHT环,类似于Chord,而逻辑上又可分为一个全局环和多个本地环,节点以地域划分,节点间没有特殊需求,但SMP之间需要保证全连接互通。AnyStorage节点主要负责存储用户数据,并响应用户读取数据请求,而SMP则主要负责维护一跳路由表的更新。为了维护存储数据的一致性,系统会定时对全网数据进行检测,找出不匹配的数据,然后进行匹配搬迁,以保证所有数据都存储在正确的节点上。AnyStorage对内对外提供三个接口:存储、读取、删除操作接口。通过在局域网上的测试,验证了该系统的性能总体上达到了设计目标要求。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景及研究意义
• 1.1.1 Internet 的历史及其在中国的发展情况
• 1.1.2 网络存储技术面临的挑战
• 1.1.3 本文研究目的及意义
• 1.2 国内外研究现状
• 1.3 课题来源与论文内容
• 第2章 P2P 基础理论与分布式存储
• 2.1 P2P 技术介绍
• 2.1.1 P2P 模式
• 2.1.2 P2P 网络
• 2.1.3 P2P 潜在的信息安全问题
• 2.1.4 P2P 网络中的拓扑研究
• 2.2 分布式存储介绍
• 2.2.1 网络存储技术
• 2.2.2 集群存储技术
• 2.2.3 P2P 存储技术
• 2.3 本章小结
• 第3章 P2P 存储相关技术分析
• 3.1 分布式散列表（DHT）
• 3.2 Chord 算法
• 3.2.1 Chord 原理
• 3.2.2 Chord 的路由
• 3.2.3 节点的加入和退出
• 3.3 结构化P2P 网络基本特点
• 3.4 数据的持久存储技术介绍
• 3.4.1 数据冗余机制
• 3.4.2 冗余数据分发机制
• 3.4.3 错误检查机制
• 3.4.4 数据恢复机制
• 3.4.5 数据一致性维护
• 3.5 本章小结
• 第4章 系统结构与总体设计
• 4.1 总体思路
• 4.2 基于关键字的路由
• 4.3 流量本地化
• 4.3.1 基于ID 分配的条带分割
• 4.3.2 两层DHT
• 4.4 副本策略
• 4.4.1 副本放置策略
• 4.4.2 副本一致性策略
• 4.5 系统主要业务流程
• 4.5.1 PUT 文件业务
• 4.5.2 GET 文件业务
• 4.5.3 DEL 文件业务
• 4.5.4 数据恢复业务
• 4.5.5 节点新加
• 4.6 本章小结
• 第5章 系统测试验证
• 5.1 系统测试环境
• 5.1.1 系统失效模型
• 5.1.2 系统测试网络
• 5.1.3 主要测试指标
• 5.2 测试结果
• 5.2.1 操作成功率
• 5.2.2 操作时延
• 5.2.3 带宽消耗
• 5.2.4 数据恢复时间
• 5.3 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的学术论文
• 致谢