麒麟天机存储系统的负载均衡与副本一致性技术研究与实现

论文摘要

麒麟天机安全存储系统是由国防科学技术大学计算机学院研制的基于银河麒麟操作系统的安全存储系统,数据集中加密存储于服务器,由服务器操作系统实现内核级的透明加解密,支持基于保险箱的文件加密与安全共享。麒麟天机安全存储系统目前采用单服务器的集中数据存储方式,难以满足大用户量的数据访问需求。因此,拟摸索一种系统扩展方案。麒麟天机安全存储系统采用samba[1]作为数据输出子系统,因此,本文认为研究部署高性能samba分布式文件系统是系统扩展的第一步。目前,samba分布式文件系统由一个称为根服务器的元数据服务器和很多后端存储服务器组成,根服务器向用户提供统一的全局虚拟视图,它以做符号链接的方式映射后端存储服务器上的物理存储资源,一个链接可以对应多个链接目标,每个目标作为一个冗余副本。客户端访问文件系统时,根服务器向客户端返回数据存储服务器的符号链接目标列表,客户端根据获得的列表,按顺序访问数据存储服务器,直到数据访问成功或者全部访问失败为止。因此,在大部分情况下,所有的访问会集中到某个数据存储服务器上,造成服务器之间的负载严重失衡。同时由于麒麟天机安全存储系统为用户提供透明加密存储服务,数据的修改和更新是基本功能,就会造成分布式存储系统上多个副本间的数据不一致问题,而samba现有的机制并没有保证这种多副本数据的一致性。论文的目的就是研究samba分布式文件系统的负载均衡和副本数据一致性问题。对于负载均衡问题,本文提出一种基于后端服务器性能的负载均衡策略。该策略主要由两个子策略组成,即后端负载反馈策略和前端负载调度策略。后端存储服务器周期性地反馈负载指标,该指标用反馈周期内服务器网卡平均每秒的流量表示。前端根服务器依据服务器的峰值负载指标和动态反馈的当前负载指标计算出服务器当前剩余负载指标,将其作为服务器的性能指标,进行负载调度。在本系统中具体体现在根服务器在向客户端返回符号链接目标列表前根据目标服务器的当前剩余负载指标从大到小对列表进行重新排序。对于副本数据一致问题,本文的策略是:一、只允许在主副本上进行更新,可以通过将所有具有更新权限的用户定位到相同副本的方式来保证,这样就解决了写写冲突造成的不一致性。二、对于读写冲突造成的不一致,本文采用主动推式更新传播的策略,即主副本更新后会将更新主动推入其他的副本,使多个副本达到一致。通过netbench对本文的改进后的系统进行测试,发现整个系统的吞吐率和对用户的平均响应时间都得到了很大幅度的提升。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题研究背景
• 1.2 本文的工作
• 1.3 论文结构安排
• 第二章 研究现状及相关技术
• 2.1 负载均衡技术
• 2.1.1 基于客户端的负载均衡
• 2.1.2 应用服务器的负载均衡技术
• 2.1.3 基于域名系统的负载均衡
• 2.1.4 高层协议内容交换技术
• 2.1.5 网络接入协议交换
• 2.1.6 传输链路聚合
• 2.1.7 带均衡策略的服务器群集
• 2.2 反馈技术
• 2.3 副本一致性技术
• 2.3.1 以数据为中心的一致性模型
• 2.3.2 以客户为中心的一致性模型
• 2.3.3 基于主备份的协议
• 2.3.4 典型分布式存储系统的副本一致性策略
• 2.4 Samba 分布式文件系统
• 2.4.1 系统组成
• 2.4.2 系统的存储访问机制
• 2.5 本章小结
• 第三章 动态反馈负载均衡的研究与实现
• 3.1 动态反馈负载均衡策略
• 3.1.1 策略选择依据
• 3.1.2 后端反馈策略
• 3.1.3 前端调度策略
• 3.2 动态反馈负载均衡子系统结构
• 3.3 动态反馈负载均衡子系统设计
• 3.3.1 反馈值搜集设计
• 3.3.2 反馈与接收设计
• 3.3.3 负载调度设计
• 3.4 动态反馈负载均衡子系统实现
• 3.4.1 搜集模块的实现
• 3.4.2 反馈与接收的实现
• 3.4.3 负载调度的实现
• 3.5 本章小结
• 第四章 副本数据一致性技术
• 4.1 相关概念定义
• 4.1.1 副本
• 4.1.2 副本服务器
• 4.1.3 主副本
• 4.1.4 副本表
• 4.2 单主副本一致性策略
• 4.2.1 最终一致性模型
• 4.2.2 单主副本一致性策略原理
• 4.3 主动推式的副本一致性更新方法
• 4.3.1 主动推式更新
• 4.3.2 副本一致性更新方法
• 4.4 副本一致性的系统实现软件结构
• 4.4.1 物理结构
• 4.4.2 软件结构
• 4.5 单主副本一致性设计
• 4.5.1 副本表的一致性设计
• 4.5.2 单主副本调度流程
• 4.5.3 副本同步
• 4.5.4 失效副本恢复处理
• 4.6 本章小结
• 第五章 系统测试
• 5.1 测试环境说明
• 5.2 测试与说明
• 5.2.1 服务器1 的测试与说明
• 5.2.2 服务器2 的测试与说明
• 5.2.3 负载均衡后的集群服务器测试与说明
• 5.3 本章小结
• 第六章 结束语
• 致谢
• 参考文献
• 攻读硕士期间发表论文