层次式并行混合存储系统关键技术研究

论文摘要

高性能计算已跨越PetaFlops时代向ExaFlops时代飞速发展,对海量存储系统的I/O性能、可扩展性、可靠性和易管理性提出了严峻挑战。现有的数据存储方式与数据管理方式已远不能满足信息时代发展的需要,传统的存储介质与存储体系结构已成为大规模并行计算机系统获得高效能的重要瓶颈。迫切需要研究应用新型存储介质克服传统存储介质存在的缺陷,突破基于新型存储介质的混合存储技术,研究新的存储体系结构和数据管理方法,提高存储系统性能和数据管理的效率。本文针对高性能计算的I/O需求,在深入研究新型非易失性存储（Non-Volatile Memory）[1]介质相变存储器（Phase Change Memory,PCM）[2]的基础上,设计了基于相变存储器PCM的层次式并行混合存储系统;在深入研究基于对象存储系统管理技术的基础上,针对目前主流元数据管理算法存在的缺陷,设计实现了基于目录编码的元数据管理算法。本文的研究工作主要包括以下几个方面:（1）研究分析了新时代高性能计算飞速发展背景下传统存储介质遭遇的困境,以及存储介质多元化发展趋势。在对目前众多新型非易失存储介质进行研究分析的基础上,选用具有非易失性、高性能、高密度以及高可靠性的相变存储器PCM作为重点研究应用对象,对相变存储器PCM的技术特性及国内外相关应用研究工作进行了深入研究与分析。（2）研究了基于对象的存储系统（Object-Based Storage,OBS）[3]管理技术。对目前主流的元数据管理算法—目录子树分区算法[4]与散列算法[5],以及诸多改进算法进行了深入的研究与分析,分析了目前元数据管理算法存在的缺陷,提出了针对这些缺陷的改进思路。（3）提出了一种基于相变存储器PCM的层次式并行混合存储系统结构,在传统存储层次上增加一层基于PCM新型存储设备的高速存储层次,构建高性价比的分布式并行存储系统。我们利用对象存储结点OSD本身具有的计算和处理能力,实现对象一级的存储管理策略。自动分析I/O访问特征,预测其后续操作,主动把可能需要的对象预取到PCM高速存储层次。我们借助基于序列特征挖掘技术的I/O特征预测算法,设计了并行混合存储系统自治预取和对象迁移机制,通过模拟实验验证了并行混合存储结构及自治预取机制的有效性。（4）设计实现了基于目录编码的元数据管理算法。基于对目前主流元数据管理算法缺陷的深入研究与分析,本文设计实现了基于目录编码的元数据管理算法。并与目录子树分区算法和散列算法相对比,进行了模拟实验,验证了设计实现的基于目录编码的元数据管理算法在目录相关操作性能以及元数据分布均衡性方面的综合优势,提高了存储系统元数据管理的性能以及负载均衡性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.1.1 存储介质发展趋势
• 1.1.2 存储体系结构发展趋势
• 1.2 课题主要研究内容
• 1.3 课题创新点
• 1.3.1 基于PCM 的层次式并行混合存储系统
• 1.3.2 基于目录编码的元数据管理算法
• 1.4 本文组织结构
• 第二章 新型存储介质相关研究
• 2.1 传统存储介质的困境
• 2.2 新型非易失存储介质
• 2.3 相变存储器PCM 相关研究
• 2.3.1 工作原理
• 2.3.2 PCM 特性比较
• 2.3.3 PCM 相关应用
• 2.3.4 存在问题
• 2.4 小结
• 第三章 基于对象的存储系统结构及存储管理技术研究
• 3.1 存储系统结构的发展
• 3.1.1 直接依附存储—DAS
• 3.1.2 网络附加存储—NAS
• 3.1.3 存储区域网—SAN
• 3.1.4 基于对象的存储系统结构
• 3.2 对象存储性能分析模型
• 3.3 元数据管理技术研究
• 3.3.1 元数据的含义
• 3.3.2 元数据管理模式
• 3.3.3 元数据分布算法
• 3.3.4 元数据迁移方法
• 3.4 小结
• 第四章 层次式并行混合存储系统自治管理技术
• 4.1 基于PCM 的层次式并行混合存储系统模型
• 4.1.1 基于PCM 的层次式并行混合存储系统结构
• 4.1.2 层次式并行混合存储系统对象管理策略
• 4.2 层次式并行混合存储系统自治管理机制
• 4.3 基于I/O 特征预测的自治预取算法
• 4.4 实验模拟
• 4.4.1 实验环境
• 4.4.2 实验方法与结果分析
• 4.5 小结
• 第五章 基于目录编码的元数据管理算法
• 5.1 基本思想
• 5.1.1 存在的问题
• 5.1.2 目录编码
• 5.1.3 元数据分布
• 5.2 系统结构与元数据表示
• 5.2.1 系统结构
• 5.2.2 元数据表示
• 5.3 元数据定位
• 5.4 实验与分析
• 5.4.1 实验方法与过程
• 5.4.2 综合分析
• 5.5 小结
• 第六章 结束语
• 6.1 工作总结
• 6.2 工作展望
• 致谢
• 参考文献
• 作者在学期间取得的学术成果
• 作者在学期间参与的科研项目