一种自适应海量存储系统组织策略及关键技术研究

论文摘要

数字化信息爆炸性的增长引发了IT技术的第三次发展浪潮——存储技术浪潮。新的技术浪潮促进了网络存储技术的发展,尤其作为网络存储技术代表的NAS和SAN技术,一经提出便获得了飞速发展。但实际应用中,这些方法的局限性也日渐呈现,其可扩展性、可管理性成为构建更大规模存储系统的瓶颈。文中介绍了一种融合面向对象存储和P2P节点自组织技术的存储网络系统——自适应的海量存储系统（SASS: self-adaptive storage system）,并对构建这种系统的若干关键技术进行了研究。与传统的存储系统相比,这一系统的特点主要体现在高度的可扩展性、高度易管理性和逐步提高的系统性能。与传统的基于块设备的系统不同,SASS结合面向对象存储技术,以文件为粒度进行存储空间分配,消除了系统对异构设备的敏感性,降低了系统的扩展成本。同时具体文件的元数据管理负担分布于各个节点,整个系统的元数据管理更加简洁。SASS通过各节点保存一定冗余信息,在少量存储设备,特别是个别关键节点失效情况下,依然能够进行访问,并且能够依靠自身信息完成关键节点信息重构。同时,根据内外条件变化,各节点以及节点间进行不间断适应性调整。这意味节点具有高度自治特性,对中心管理依赖很低,整个系统具有高度自动适应特征和易管理特性。SASS使用基本能够满足负载均衡的存储空间分配策略,同时依据设备特性、文件访问特性等信息对文件分布调整,充分利用所有设备的能力;通过数据相关性挖掘,获取用户访问习惯等信息,并根据取得信息对系统内部,如数据存放、cache等策略进行调整,适应外部访问特性的变化,始终对外提供优秀的整体性能。研究内容具体包括以下几个方面。在阐述了当前网络技术应用状况和网络文件系统发展现状的基础上,讨论了网络存储技术发展方向。针对网络存储的可管理性、可扩展性以及智能化技术作了重点论述。最后说明研究意义及主要研究内容。针对存储技术发展中存在的管理、扩展和自适应问题,本文引入了自适应海量存储系统的概念。在详细说明了概念提出原因和特征的基础上,描述了SASS的基本体系结构的构成。进而说明了存储空间组织原则,包括存储空间分配、命名空间组织等,并分析了文件和目录分离状态下元数据操作原则。同时介绍了研究SASS时使用的访真软件EssSim。最后分析了本文主要研究的问题。海量存储系统中设备数量庞大,设备间存在明显性能差异。如何有效组织和管理所有存储设备,以及充分合理利用所有设备能力,是SASS需要解决的根本性问题之一。SASS采用的方式为:总体上的半分布式拓扑结构;各自治域内,参考P2P系统具有高度自适性的节点管理策略,采用依据设备性能特点,自我组织、自我调整的分层结构,能够自动适应不断变化的系统状态。如何选择合理有效、可靠的数据组织策略,是SASS需要解决的另外一个根本性问题。在SASS存储空间分配策略基础上,讨论了存储节点内部组织和优化,以及适应负载变化,可调整文件级RAID等问题。通过这些问题的讨论为方便和深入研究和设计海量的自适应存储系统提供了有力基础。针对不同用户数据访问的局部性、可预测性,以及节点内部连续访问的离散小数据之间具有的关联性,提出了一种挖掘数据相关性的启发式算法,并讨论如何根据这些相关性信息对数据采取预取和布局调整,以适应外部访问特性变化。根据数据快照是当前数据保护、备份等功能中核心技术之一。以前面研究内容为基础,设计并实现了目录级和块设备级快照系统原型。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 数据存储最新特点
• 1.2 网络存储技术现状及存在的问题
• 1.3 网络存储可管理性的最新研究进展
• 1.4 本文研究内容及意义
• 1.5 课题的来源
• 2 自适应海量存储系统
• 2.1 自适应存储系统概述
• 2.2 自适应调整的因素和方法
• 2.3 基本体系结构
• 2.4 存储空间的组织
• 2.5 元数据操作原则
• 2.6 仿真软件
• 2.7 主要问题分析
• 2.8 本章总结
• 3 自适应的存储节点组织策略
• 3.1 总体拓扑结构
• 3.2 分组组织的自治域
• 3.3 同组节点组织结构
• 3.4 分组之间组织结构
• 3.5 分级标准和迁移标准
• 3.6 数据访问模式分析
• 3.7 本章总结
• 4 自适应的数据组织策略
• 4.1 跨节点数据组织
• 4.2 节点加入与节点间调整
• 4.3 节点内部数据组织
• 4.4 仿真测试
• 4.5 本章总结
• 5 利用数据相关性适应访问特性
• 5.1 挖掘数据相关性
• 5.2 利用文件的相关性
• 5.3 利用离散小数据块的相关性
• 5.4 本章总结
• 6 自适应海量存储系统（SASS）的快照系统原型设计
• 6.1 快照技术概述
• 6.2 目录级快照系统
• 6.3 结合DCD技术的块设备快照系统
• 6.4 性能测试
• 6.5 本章总结
• 7 全文总结
• 7.1 本文取得的主要研究成果
• 7.2 进一步研究工作的考虑
• 致谢
• 参考文献
• 附录1 攻读博士学位期间发表论文目录