进化存储系统数据组织模式研究

论文摘要

用于网络环境下的企业级海量存储系统面临如下挑战:数字化信息爆炸性增长、数据的重要性和安全性日益增加、大数量的用户群和多媒体的应用对存取性能产生巨大压力、24×7的服务需求要求极高的可用性和可维护性。现有的技术如高性能存储磁盘阵列、附网存储、存储区域网等有着各自的优势同时有着自身的不足。问题存在的原因是现有存储系统物理和逻辑的组织是一种静态的结构,而静态组织结构模型不能很好地刻画处于不断变化之中的系统。这种结构往往只适合于特定的应用需要,而且缺少适应不断变化的存储要求的机制。为此,我们基于进化存储的概念及关键思想,将进化的策略化分为物理进化和逻辑进化,详细讨论了物理进化和逻辑进化实现的主要思路,对进化存储系统的硬件体系结构和软件结构进行了深入的研究,并指出为实现进化存储系统需要解决的四个问题。进化存储系统要求存储系统中数据的组织以及整个系统中各种不同属性数据的分布可以随着外在的数据流输入输出的变化而相应改变,以期获得最好的系统性能。为了实现此目标,需要获得在某一段时间内工作负载的分布形式,并预测未来某一段时间工作负载的分布形式。为解决这个问题,我们从两个方面入手:一是提出了基于连续度的I/O聚类算法,它能高效、可靠的发现密集I/O访问的区域;其次是根据I/O请求局部性的特征,利用ARMA时间序列模型来预测未来密集I/O可能访问的区域。为提高预测的准确性,提出了动态参数估计的策略,使得预测值的匹配率达到很高的比例,能充分指导对存储系统的调节。同时根据进化存储系统的数据分布特点,利用所获取的I/O区域特征,在系统空闲时刻一次性的预取下一个时刻所有的读请求的数据来改善系统的性能。现有关于存储系统中优化组织结构和数据分布的研究基本上是采用将请求的热点区域迁移到能提供更好性能区域的策略,这必然会导致数据映射关系的复杂,并最终使得系统数据映射机制成为系统性能的瓶颈。为此我们根据所获取的负载特性设计了一种为适合不同工作负载特性动态转换的组织结构及数据分布转换策略,它能最大限度的减少因组织结构及数据分布转换而导致的数据迁移。为减少映射机制的复杂性和服务器的负载,并根据进化存储系统的特点,采用了两级映射机制来提高数据映射的效率。为获得数据分布转换的门限,我们通过分析闭环Fork-Join排队网络模型和存储系统的读写行为,推导出了磁盘阵列的通用的平均响应时间模型。在此基础上推导出了不同RAID级别在各种I/O负载情况下的平均响应时间,计算出在不同工作负载情况下的RAID转换门限和最优条带单元大小调节门限。在进化存储系统中,随时存在着大量的数据迁移,有可能在数据迁移过程中出现对数据的更新情况,此时会产生数据的一致性问题。同时,在进化存储系统中的海量数据是非常宝贵的资源,如何保证这些时间的可用性也是必须面对的问题。我们根据进化存储系统的系统结构特点,实现了进化存储系统的快照和备份技术,使得存储节点之间在无需服务器参予情况下进行无“备份窗口”的备份和高性能的数据迁移,较大的提高了存储系统的可用性和备份性能。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 课题的来源
• 1.2 存储系统技术的现状
• 1.3 存储子系统的数据组织方式
• 1.4 本文研究目的和主要内容
• 1.5 本章小结
• 2 进化存储系统的系统结构
• 2.1 进化存储系统的主要思路
• 2.2 硬件体系结构
• 2.3 软件结构
• 2.4 主要问题分析
• 2.5 本章小结
• 3 I/O 特性的预测及应用
• 3.1 设备层有关I/O 负载特性的研究
• 3.2 基于连续度的聚类算法
• 3.3 聚类区域的预测
• 3.4 预测区域的应用－CACHE 预取
• 3.5 预取策略
• 3.6 预测及预取模拟测试
• 3.7 本章小结
• 4 进化存储系统的组织结构及数据分布优化
• 4.1 现有优化策略及存在的
• 4.2 存储子系统的存储空间定义
• 4.3 组织结构的转换
• 4.4 条带单元大小的调节
• 4.5 崩溃后的恢复操作
• 4.6 数据迁移分析
• 4.7 本章小结
• 5 基于性能的存储系统优化及参数确定
• 5.1 有关性能模型的研究状况
• 5.2 系统性能调节结构
• 5.3 转换参数确定
• 5.4 模拟测试
• 5.5 本章小结
• 6 进化存储系统中的快照及备份技术
• 6.1 现有技术及存在的问题
• 6.2 快照及备份的设计与实现
• 6.3 性能测试
• 6.4 本章小结
• 7 全文总结
• 7.1 本文取得的主要研究成果
• 7.2 进一步的研究工作思考
• 致谢
• 参考文献
• 附录1 攻读博士学位期间发表论文目录