基于对象的主动存储关键技术研究

论文摘要

随着计算机和互联网的迅猛发展,网络存储应用现了一些新特点:数据总量爆炸性增长的趋势越来越快,存储管理和维护的自动化和智能化程度要求越来越高,多平台的互操作性和数据共享能力越来越重要。网络存储正发生着革命性的变化,基于对象的存储应运而生。基于对象的存储将存储接口作了根本性的改变,提出了对象接口,由此克服了块接口与文件接口的缺陷,使得对象存储系统在安全性,数据共享,可扩展性及性能等方面能做到最好的折中。对象接口访问的基本单位是对象,对象除了包含用户数据外,还包含能描述对象特征的属性。通过在用户和设备之间传递对象属性信息,对象接口比其他接口具有更为丰富的语义表达能力。随着电子技术的发展,存储设备上已嵌入了越来越多的处理能力,上层应用的部分功能可以迁往设备(即“主动存储”的概念)。目前广泛流行的存储设备是“哑设备”,只能被动地响应用户的请求,随着设备功能越来越复杂,传统的对设备透明的管理方式已很难胜任。人们迫切需要一种设备参与在内、更简单灵活的方式来管理,而主动存储能很好地满足这些应用的需求。另外,由于硬磁盘本身机械运动的本质特征没有明显改变,在网络存储条件下网络延迟不能忽略,特别是网络共享跨越了广域网,如何提高处理节点和存储节点间的数据传输速率成为当前提高系统整体性能的关键因素。主动存储系统能够在很大程度上解决该项难题。可以说主动存储系统代表着将计算向数据移近的发展方向。但在对象接口出现之前,原有设备使用的接口是一种简单透明的接口,这妨碍了设备端和用户端的任务合作。对象接口的出现加速了主动存储的发展进程,主动存储可以利用富于表达力的对象接口将更多的信息在设备端和用户端之间传递。可以说对象存储与主动存储的结合将是未来存储界领先的技术之一。基于对象的主动存储系统(OBASS)结合了对象接口与主动存储的优点,主动存储将建立在对象基础上,所有信息都以对象的形式出现。OBASS的基础是基于对象的存储设备(OSD),在软件层次上,OSD主要分为三层:对象层、主动服务层以及存储质量控制层。对象层统一管理所有对象,负责对象的磁盘数据组织(包括磁盘内对象数据布局和磁盘间的对象放置)。主动服务层实现了主动存储功能,上层应用把功能模块下载到OSD中后作为特殊的对象(方法对象),由对象层存储与管理,由主动服务层调度方法对象执行。存储服务质量控制层对所有层次模块的执行过程施加影响,使OSD在不同的负载状况下能满足不同用户的对象读写QoS要求。磁盘内的对象数据组织即对象文件系统,其中一个重要的特性是性能的持久性,即对象文件系统在长期的使用的过程中,经历了频繁的对象创建、删除和写操作后,其性能仍然能够维持在较高水平。性能持久性是通过柔性空闲空间管理和分配粒度可变的渐近空间分配策略实现的。磁盘间的对象放置策略研究对象在多个磁盘间的放置,使得整个系统性能达到最优,负载得以均衡。不同的应用放置策略是不同的,对于流媒体应用,适用的放置策略是基于阻塞概率模型的放置策略;而对于事务处理,基于响应时间模型的放置策略更合适。对象放置策略应能运用于在线环境,但在线运行时负载特点是无法事先预料的,利用OSD的智能性及对象的属性,对象放置策略可对负载的特征进行自主学习,并根据学习的结果指导对象放置。为实现基于对象的主动存储,首先对现有的T10 OSD标准进行修改,扩充对象概念引入方法对象使其支持主动存储。方法对象的执行有两种方式:一种是外界用户的请求触发执行,另一种是条件满足时的策略触发执行。主动服务层建立了统一的框架,把这两种方法的调度机制有效结合起来,支持计算任务与管理任务向OSD迁移。方法的执行机制是主动存储的核心,针对过滤型方法和服务型方法这两类不同方法,分别提出了在Linux系统下的实现机制。为评估主动存储的效能,将这两类方法分别运用于两种不同应用:OSDFS文件系统及对象存储系统的负载均衡。在OSDFS中,两种常规操作lookup和unlink作为过滤型方法下放到OSD中,分析表明,这可以大大减少网络延迟和内存拷贝。而负载均衡算法可以作为服务型方法运行在OSD中,实验表明,启用对象复制和对象迁移的负载均衡算法能最大程度地减少平均系统响应度。存储服务质量控制分三个层次实现QoS:上层调度器实现对象请求调度,从对象级保证QoS;中层调度器实现对象预处理,与对象文件系统及缓存结合,对于对象读,通过对象的预取,对于对象写,通过页面预分配、延迟空间分配及延迟写保障对象读写的QoS;而下层调度器与Linux I/O子系统中的块I/O调度器结合,综合考虑带优先级的实时负载以及非实时负载的调度,即考虑I/O请求的时限,磁头定位时间和优先级三个因素在内的I/O调度。将OSD的QoS调度模块(OIS)与Linux系统中其他的调度器进行了比较,结果表明,对于实时读操作,OIS引起的延时抖动比其他调度器至少小1个数量级;而对于写操作,至少小2个数量级。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 网络存储系统面临的形势
• 1.2 基于对象存储
• 1.3 主动存储
• 1.4 基于对象的主动存储系统
• 1.5 本文研究的主要内容
• 2 持久对象文件系统（LOBFS）
• 2.1 对象定义及组成
• 2.2 空间分配对文件系统长期性能的影响
• 2.3 LOBFS 的软件结构
• 2.4 LOBFS 属性管理
• 2.5 LOBFS 磁盘布局
• 2.6 LOBFS 的空间管理及分配策略
• 2.7 性能测试
• 2.8 本章小结
• 3 对象放置策略
• 3.1 对象放置模型
• 3.2 基于阻塞概率模型的对象放置策略
• 3.3 基于响应时间模型的对象放置策略
• 3.4 负载跟踪
• 3.5 算法效能评测
• 3.6 本章小结
• 4 方法对象的执行机制
• 4.1 对象扩展
• 4.2 OSD 的主动存储模块
• 4.3 扩充T10 OSD 命令集
• 4.4 方法执行机制的实现
• 4.5 过滤型方法在OSDFS 文件系统中的应用
• 4.6 服务型方法在动态负载均衡中的应用
• 4.7 本章小结
• 5 基于对象存储设备的QOS 支持
• 5.1 OSD 存储QOS 层次结构
• 5.2 对象请求调度器
• 5.3 对象预处理器
• 5.4 块请求调度器
• 5.5 性能测试
• 5.6 本章小结
• 全文总结
• 致谢
• 参考文献
• 附录 1:攻读学位期间发表的学术论文目录
• 附录 2:攻读学位期间申请的专利