基于Zeromq的分布式存储系统设计

论文摘要

随着云存储、云计算技术的快速发展,数据的存储、索引、搜索已经成为互联网数据管理中心的一个重要技术瓶颈,这是因为现行互联网数据都是海量的,而基于ACID理论的关系数据库很难满足现行数据管理的需求。因此,分布式存储成为当前互联网世界数据存储及管理的基本方式。虽然分布式系统能够适应快速的横向扩张,但各个系统之间的交互变得越来越复杂,各数据结点间的数据迁移,结点的探测与发现,结点的恢复与备份导致整个系统消息传递十分庞大,因此,优秀的消息机制是分布式系统实现中的关键因素。本系统在对比现行分布式消息机制的基础上,选用轻量级ZEROMQ为本系统实现的基础,提出分布式存储系统的架构方案、设计方案、部署策略。在具体实现上,整个系统包括三个重要部分：collector信息收集、broker信息分发与策略制定以及DB数据存储。使用ZEROMQ的Routor/Delear方式来处理数据,通过组播方式探测邻近集群以及集群内主机的性能信息,根据各部分负载情况来实现负载均衡,整个系统采用查询、组播的方式来互相通知自己及其它结点的存活状态,从而可以实现结点的自动添加与删除,另外系统在存储部分使用NOSQL技术来提高系统的扩展能力以及查询效率。根据最终的测试结果,本方案能够很好的降低部署和运行成本,在保证可用性以及最终一致性的前提下,具有极高的并发性能。在兼顾效率的前提下,本系统完全能够满足现有互联网数据的分布式存储、查询、分类统计等各项需求。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题研究背景和意义
• 1.2 分布式存储技术及ZEROMQ与应用现状
• 1.2.1 分布式存储系统国内外研究现状
• 1.2.2 分布式开发组件ZEROMQ现状分析
• 1.3 主要研究工作与成果
• 1.4 论文结构
• 第二章 分布式存储系统及ZEROMQ相关技术
• 2.1 分布式系统与分布式存储
• 2.1.1 分布式系统定义
• 2.1.2 分布式存储系统
• 2.2 基本ZEROMQ的分布式消息模式
• 2.2.1 消息通道模式
• 2.2.2 发布者-订阅者模式
• 2.2.3 消息路由模式
• 2.2.4 zeromq网络模式实现
• 第三章 系统需求分析与架构设计
• 3.1 系统需求分析
• 3.1.1 项目描述
• 3.1.2 用户功能描述
• 3.1.3 后台分布式需求
• 3.1.4 设计思路
• 3.2 系统整体架构设计
• 3.3 分布式架构设计
• 3.3.1 应用ZEROMQ添加一个新结点
• 3.3.2 应用ZEROMQ异常后重启节点
• 3.3.3 应用ZEROMQ节点损坏后重构
• 3.4 存储部分方案
• 3.5 集群部署方案
• 3.6 系统模块架构设计
• 第四章 基于ZEROMQ的分布式存储系统设计与实现
• 4.1 分布式节点监控协议实现
• 4.1.1 基于ZEROMQ的监控数据报头格式
• 4.1.2 基于ZEROMQ实现DB之间的心跳的头格式
• 4.1.3 基于ZEROMQ实现broker传递的监控数据的格式
• 4.1.4 基于ZEROMQ的系统数据报头格式
• 4.1.5 基于ZEROMQ的系统数据报头格式
• 4.2 基于ZEROMPQ的动态结点处理策略
• 4.2.1 分布式存储系统中节点添加实现
• 4.2.2 分布式存储系统中删除节点
• 4.3 应用ZEROMQ实现分布式数据添加删除流程
• 4.4 应用ZEROMQ实现分布式存储系统负载均衡策略
• 第五章 性能测试及分析
• 5.1 系统关键性能测试
• 5.1.1 测试部署图
• 5.1.2 测试环境配置
• 5.1.3 服务器配置
• 5.2 测试方法
• 5.2.1 数据的添加基本策略
• 5.2.2 数据的内容处理策略
• 5.3 性能测试结果
• 第六章 总结及展望
• 6.1 本文的结论
• 6.2 本文的不足
• 6.3 分布式海量存储系统展望
• 参考文献
• 致谢