对象存储系统副本管理研究

论文摘要

对象存储技术就是充分利用对象存储设备（Obiect Storage Device,OSD）的功能和处理能力,将操作系统的部分功能转移到设备上,对外提供极富表达力的对象接口,基于此建立的对象存储系统具有很强的可扩展性、可共享性、高可靠性以及高可用性等良好性能。对象存储系统具有用户多、用户类型多、网络环境复杂和存储对象类型多种多样等特点,这对对象存储系统在提供持续稳定、高性能的存储服务方面提出了更高的要求。为了保障对象存储系统能够稳定有效地提供高性能存储服务,将副本技术引入对象存储系统,通过创建对象副本,将副本放置在合适的存储节点上,实现I/O请求的就近响应,从而达到降低访问延迟、节约网络带宽、提高系统性能的目的。副本技术的引入使得对象存储系统存在了大量的对象副本,这些副本的有效管理至关重要。管理策略的不恰当,不仅会使的系统存储能力受到极大浪费,而且还会造成性能的不升反降。为了避免出现这种情况,充分发挥副本技术对对象存储系统性能提高的好处,本文对副本技术在对象存储系统中的管理进行了研究,并取得了以下几个方面的成果:（1）将副本技术应用于对象存储系统,并给出了三种对象存储系统副本管理框架,分别是集中式、分布式和协作式副本管理框架。集中式管理框架是指副本管理机制完全在元数据服务器上来实现,优势是实现简单,但是它使得元数据服务器成为系统瓶颈的机率增加;分布式管理框架是指将副本管理策略分布在各个OSD上实现,元数据服务器成为系统瓶颈的风险降低,但是为了实现副本管理策略OSD间频繁的通信使得系统开销增大;从集中式和分布式管理框架的优劣出发,提出的协作式管理框架将副本管理中需要全局信息支撑强的管理机制如优化布局、副本定位、系统负载平衡策略等都在元数据服务器上实现,而副本管理中需要全局信息支撑弱的管理机制如副本的创建策略、访问热度队列的维护、对象属性信息的采集等都在OSD上实现。（2）将Agent技术应用于对象存储系统,Agent在OSD上注册执行,实现副本的创建、访问热度队列的维护、属性的修改、元数据信息的采集,既方便了副本管理机制的实现,又提高了副本管理的效率。（3）创建副本时采用了基于存储域的副本创建策略,该策略避免了创建的副本在整个存储系统内的任意放置,而是根据存储节点所能提供的带宽、能提供的服务以及节点间传输的开销将它们分成不同的存储域,副本创建的时候根据域内以及域间的相关性选择合适的存储节点来放置副本。（4）副本定位时采用基于多维属性的副本管理机制,该管理机制通过将对象的关键属性作为维度,建立多维度的管理机制。在定位时采用多维索引技术,并实现了相似检索、优化树检索和改进的优化树——one-path树检索三种算法,仿真实验表明多维副本管理机制下能够达到较好的搜索性能。（5）在有副本的对象存储系统中实现负载平衡时,采用双向调平机制,该机制的本质就是在副本创建一开始就充分考虑负载平衡的问题,将副本放置在最优位置,尽可能消除负载不平衡的潜在风险,这是主动调平机制。但随着系统的不断运行和网络环境的不断变化,系统负载仍然可能出现不平衡,此时采取被动调平机制来加以修正以达到新的平衡,系统仿真测试表明这种机制负载平衡效果明显。（6）应用Petri网理论对系统负载平衡迁移策略的控制进行了描述,描述表明Petri理论对迁移策略控制的描述准确和充分,是一种非常有力的描述工具,也证明了对负载平衡迁移的控制是有效的。从已有研究文献和本研究所取得的成果来看,尤其是在存储容量已不再是制约信息存储最关键问题的时候,牺牲一些存储容量,引入副本技术,对存储系统性能的提高是非常有益的。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 网络存储技术
• 1.2 对象存储技术
• 1.3 国内外研究现状
• 1.4 研究内容
• 1.5 全文布局
• 2 对象存储系统副本管理框架
• 2.1 对象属性的扩展
• 2.2 对象存储系统中的Agent
• 2.3 对象存储系统副本管理框架
• 2.4 I/O响应率分析
• 2.5 本章小结
• 3 副本的创建策略
• 3.1 副本创建时机
• 3.2 副本创建粒度
• 3.3 副本创建数量
• 3.4 基于存储域的副本创建策略
• 3.5 性能测试
• 3.6 本章小结
• 4 副本的定位机制
• 4.1 多维副本模型
• 4.2 多维索引技术
• 4.3 定位机制的实现
• 4.4 实验结果与评价
• 4.5 本章小结
• 5 对象存储系统的负载平衡
• 5.1 负载平衡性的分析
• 5.2 迁移策略
• 5.3 迁移策略的Petri网分析
• 5.4 双向负载平衡机制
• 5.5 性能测试
• 5.6 本章小结
• 6 全文总结
• 6.1 全文总结
• 6.2 研究展望
• 致谢
• 参考文献
• 附录1 攻读学位期间发表的学术论文目录