iSCSI OSD存储系统端到端服务质量支持策略研究

iSCSI OSD存储系统端到端服务质量支持策略研究

论文摘要

随着网络存储技术的发展,产生了将块级接口的存储区域网络技术和文件级接口的网络附属存储技术两者相结合的基于对象的网络存储技术。它具有高智能、高性能、高可靠性、跨平台以及安全的数据共享等特点。网络存储中存储服务质量支持的研究在国内外才开始不久,在广度和深度上还无法适应日益严峻的存储需求,而且也没形成一个有效的体系结构。因此提供存储服务质量支持的研究是网络存储研究领域中一个非常重要的研究方向。iSCSI OSD(Obiect Storage Device)是一种对iSCSI协议进行OSD协议扩展的基于对象的网络存储系统。在对iSCSI OSD体系结构分析研究的基础上,采用闭合排队网络模型方法对其进行了性能区间分析,建立了数据访问的吞吐量和响应时间的最大值和最小值的性能区间模型公式,作为存储系统对客户端的存储服务质量需求的合理性判断。研究提出一种在iSCSI OSD中端到端服务质量支持策略,其通过四个方面提供服务质量支持,分别是对象服务质量属性扩展的支持、网络带宽动态分配的服务质量支持、存储端缓冲区动态分配的服务质量支持和存储端I/O调度的服务质量支持四个方面组成。对象属性的服务质量支持是通过对OSD协议的对象属性进行了Bandwidth、ResponseTime和IOPS三个服务质量属性的扩展定义实现;研究设计了服务质量支持的网络动态带宽分配,其通过根据网络传输中各协议开销和存储带宽服务质量需求来计算数据访问所需的网络带宽,然后进行动态网络带宽分配;研究设计了服务质量支持的存储端缓冲区分配,其通过分析研究缓存命中率与响应时间的关系,存储端通过动态缓存分配实现对不同客户端响应时间服务质量需求的支持;存储端采用了层次I/O调度的服务质量支持,分别为对象I/O调度的服务质量支持和磁盘I/O调度服务质量支持。对象I/O调度的服务质量支持包括对象I/O预处理,建立QoS(Quality of Service)Queue及QoS Queue中基于响应时间服务质量需求计算I/O请求的Deadline;磁盘I/O调度采用了一种同时对存储带宽和响应时间服务质量需求支持的I/O调度策略。在iSCSI OSD存储系统中分离了数据和元数据的管理,元数据由元数据服务器集群管理,而且元数据的访问量占整个存储系统的数据访问量的50%~80%,因此元数据服务系统是个潜在的访问瓶颈,只有提供负载均衡的元数据访问服务,才能提高整个存储系统的性能,这对存储系统的响应时间服务质量需求的支持也是一个基本保证。研究分析了传统的元数据服务系统的管理模式,并且对传统的双元数据服务器系统的可靠性进行了理论分析。研究设计出一种基于两次哈希的元数据映射管理,其元数据放置策略的思想是利用哈希表中发生冲突的记录会顺次相邻存放的特点将对象有关的元数据实现在桶中相邻存放,并且通过理论证明其具有较低的查找和删除开销。研究设计了一种异构环境下基于线性链式的MDS集群的负载均衡策略,通过对元数据服务器集群的响应时间的理论分析以及模拟性能测试,表明该策略保证了元数据服务器集群的负载均衡。通过分析研究OSD仿真器的设计原理构造仿真测试平台,然后分别测试了基于服务质量支持的缓存分配策略,OSD设备I/O调度的服务质量支持及iSCSI OSD端到端服务质量支持,测试结果表明各服务质量支持策略的实际测量值与服务质量预期值的误差均小于9%,因此表明实现了对服务质量保证的支持。

论文目录

  • 摘要
  • Abstract
  • 1. 引言
  • 1.1 网络存储系统的发展
  • 1.2 基于对象的网络存储技术
  • 1.3 存储服务质量及其相关技术的研究现状
  • 1.4 本文的主要研究内容和结构组织
  • 2. iSCSI OSD存储系统体系结构研究
  • 2.1 OSD协议分析
  • 2.2 iSCSI OSD存储系统体系结构
  • 2.3 iSCSI OSD存储系统性能测试
  • 2.4 iSCSI OSD性能区间模型研究
  • 2.5 本章小结
  • 3. 端到端的服务质量支持
  • 3.1 传统的端到端服务质量支持模型
  • 3.2 iSCSI OSD端到端服务质量支持策略
  • 3.3 对象服务质量属性的自定义扩展
  • 3.4 服务质量支持的网络带宽分配
  • 3.5 服务质量支持的存储端缓冲区分配
  • 3.6 服务质量支持的存储端I/O调度
  • 3.7 本章小结
  • 4. 元数据服务的负载均衡
  • 4.1 元数据服务系统的目标
  • 4.2 传统的元数据服务器系统
  • 4.3 元数据服务器集群的负载均衡
  • 4.4 本章小结
  • 5. 仿真系统及相关性能测试
  • 5.1 OSD仿真器设计
  • 5.2 iSCSI OSD服务质量支持相关策略测试
  • 5.3 本章小结
  • 6. 总结与展望
  • 6.1 全文总结
  • 6.2 下一步工作和展望
  • 致谢
  • 参考文献
  • 附录1 攻读博士学位期间发表论文目录
  • 相关论文文献

    标签:;  ;  ;  

    iSCSI OSD存储系统端到端服务质量支持策略研究
    下载Doc文档

    猜你喜欢