海量存储系统中高可用服务管理的设计与实现

论文摘要

由于传统互联网业务,网络多媒体以及新兴的网络存储,网络游戏,物联网等高速发展,人类对数据的需求飞速增长。比如医药行业,医疗影像数据的以每年15%-20%的速度增长,未来10-15年,影像数据将达到PB级;另外媒体,金融等行业的数据成长速度也非常惊人,随着数据需求的持续高速发展,PB级存储服务迫在眉睫。据赛迪顾问的研究分析显示,2009年中国存储领域的市场需求高达73.8亿美元,并且每年以将近18.5%的平局速度增长。几乎所有应用都需要集群能够提供时间上不间断的服务,集群的高可用性就是指不论在主动地备份,系统升级,维修,配置更改,还是被动的硬件出错,断电,网络失败等情况下,集群就能够持续提供服务,或是使宕机时间减小至最少。本课题的研究目标是针对基于对象的并行海量存储系统,设计与之相适应的高可用性保障方案,使得海量存储系统同能够持续稳定的提供存储服务。在系统出现故障时能够迅速的自我恢复,尽量减少系统服务中断时间。课题对最重要的管理服务器以及数据服务器高可用方案进行了实现和描述了具体实现机理,并进行了测试,实验结果表明方案能够满足海量存储系统中对管理服务器以及数据服务器高可用性需求。首先论文结合国内外研究状况、产品现状对网络存储系统架构的基本模型与发展进行了研究分析,并对传统集群高可用性保障技术进行了总结研究,包括了磁盘数据可用性,集群网络可用性,集群服务器可用性等多个方面。在网络存储分析的基础上,论文探索了传统海量存储系统以及更新的基于对象的并行海量存储系统的系统架构特征,研究了新型基于对象存储模型的并行存储系统相对于传统NAS独立存储集群架构以及SAN共享存储架构的性能以及扩展性上的优势。并对基于对象存储模型的并行海量存储系统系统架构以及机理进行了详细的分析。针对海量存储系统的特点设计了与之相应的高可用性保障方案。采用RAID 5方案对磁盘数据进行冗余;通过交换机双引擎等方式来进行单点设备的可用性进行提升;通过交换机冗余、路由器冗余,电源系统冗余,端口冗余,双绞线冗余,光纤冗余等来保障网络的高可用性;通过主从备份、多机互备方式来分别保障管理服务器、数据服务器的高可用性等。对服务器高可用性保障方案进行了实现,通过开源心跳监测软件以及服务器资源管理软件来对服务器进行监控以及对服务的进行开启关闭,服务迁移等管理。在虚拟机环境中搭建了实验环境,通过对管理服务器与数据服务器的宕机测试,当服务器宕机时一般需要5-6秒的时间来恢复服务,这样的时间基本能够保证服务器的可用性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 研究目的及意义
• 1.3 研究目标及内容
• 1.4 论文结构
• 第二章 网络存储基础架构
• 2.1 RAID
• 2.2 直接附加存储DAS
• 2.3 NAS 网络附加存储
• 2.4 SAN 存储区域网络
• 第三章 集群高可用性
• 3.1 集群高可用性保障
• 3.2 磁盘数据可用性
• 3.3 网络可用性
• 3.4 服务器可用性
• 第四章 海量存储系统
• 4.1 集群存储架构
• 4.1.1 NAS 集群独立存储架构
• 4.1.2 SAN 共享存储架构
• 4.1.3 基于对象存储模型的新型并行存储架构
• 4.2 海量存储系统系统架构
• 第五章 海量存储系统高可用方案设计
• 5.1 磁盘高可用
• 5.1.1 缓存冗余
• 5.1.2 RAID
• 5.2 网络可用性
• 5.2.1 交换机电源冗余
• 5.2.2 交换机引擎冗余
• 5.3 服务器可用性
• 5.3.1 数据服务器可用性
• 5.3.2 管理服务器可用性
• 第六章 方案实现与实验
• 6.1 服务器管理软件架构
• 6.2 Heartbeat 原理及配置
• 6.2.1 Heartbeart 原理
• 6.2.2 Heartbeat 配置
• 6.3 Pacemaker 原理与配置
• 6.3.1 Pacemaker 原理
• 6.3.2 Pacemaker 配置
• 6.4 实验
• 6.4.1 实验环境
• 6.4.2 实验过程
• 6.4.3 实验结论
• 第七章 总结与展望
• 7.1 工作总结
• 7.2 展望
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文