面向高性能计算的可扩展I/O体系结构研究与实现

论文摘要

数值模拟计算是进行科学研究和探索的主要技术手段之一,其对计算机的计算和数据处理能力提出了巨大的、不断增长的需求,推动着并行计算机系统的发展。高性能计算已进入PetaFlops时代,与此同时,数据存储也进入Petabyte（千万亿字节）时代,对I/O性能、可扩展性、可靠性、可用性和易管理性提出了严峻挑战。大规模并行计算机系统的I/O效能已经成为阻碍系统获得高效能的重要瓶颈。这主要表现在两个方面,一是I/O设备速度、I/O体系结构等因素的制约,使系统I/O性能和计算性能严重不匹配;二是系统规模的扩展导致I/O设备高故障率和数据恢复时间的增长,使I/O系统的可用性问题日益突出。为了缓解I/O瓶颈问题,可以从应用程序、可扩展算法、编译器和语言、运行时库、操作系统和体系结构六方面展开研究。其中,I/O体系结构是所有技术途径的关键支撑。针对高性能计算I/O需求与挑战,结合高效能并行计算机系统的研制任务,论文首先研究了I/O体系结构,从体系结构上保证并行I/O的性能及可扩展性。其次,在实现机制上,研究了涵盖I/O的存储一致性模型及实现技术、智能I/O控制、电磁混合存储加速和事务型存储管理等技术,达到提高并行I/O性能和系统可用性的目的。论文的主要研究工作和创新点如下:1. I/O受限的并行加速比模型针对并行计算机系统的可扩展性问题,研究了I/O负载对并行计算机系统可扩展性的影响,提出了I/O受限的并行加速比性能模型,以此为基础对三类常见的I/O体系结构的可扩展性进行了分析;最后用性能模型指导I/O体系结构设计,设计了一种面向高性能计算的可扩展并行I/O系统结构,提出了提高系统可扩展性的几种策略。2.涵盖I/O的广义域存储一致性模型及协议实现技术针对支持全局DMA操作的共享存储系统存储一致性问题,从I/O与存储体系结构一体化设计理念出发,定义了涵盖I/O的广义程序概念,研究了广义存储一致性,建立了广义顺序一致性模型、广义释放一致性模型和广义域一致性模型,基于广义域一致性模型设计并实现了Cache-Memory-I/O数据一致性协议,在大规模CC-NUMA系统上实现了支持全局并发DMA的全局共享I/O系统。实测结果表明,该系统I/O吞吐能力和扩展能力强,实测并行I/O带宽高达20.2GB/s,并行I/O带宽随着进程个数良好扩展。3.基于强化学习的智能I/O调度算法RL-scheduler针对实际应用中磁盘阵列的I/O服务效率问题,将机器学习领域中的强化学习技术引入RAID控制器中,提出了基于强化学习的智能I/O调度算法RL-scheduler,利用Q-学习策略实现了面向并行应用的自治调度策略。RL-scheduler综合考虑了调度的公平性、磁盘寻道时间和MPI应用的I/O访问效率,并提出多Q-表交叉组织方法提高Q-表的更新效率。实验结果表明,RL-scheduler缩短了并行应用的平均I/O等待时间,提高了大规模并行计算机系统的实用I/O带宽,增强了系统的可扩展性。4.支持事务语义的电磁混合存储管理算法针对高性能计算对I/O性能和可用性的双重需求与挑战,在存储设备一级将事务型存储管理和电磁混合存储加速技术有机结合,研究支持事务语义的电磁混合存储技术,提出了基于令牌的并行事务冲突处理协议和自适应动态逻辑分区管理算法。模拟结果表明,支持事务语义的电磁混合存储系统能够有效利用事务访问规律提高固态盘缓存命中率,隐藏版本管理、冲突检测等开销,获得I/O性能和可用性的双重改善。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 高性能计算I/O需求与挑战
• 1.1.1 高性能科学计算I/O需求
• 1.1.2 I/O 瓶颈问题
• 1.1.3 可用性问题
• 1.2 研究方向与发展趋势
• 1.2.1 I/O与存储体系结构设计一体化
• 1.2.2 I/O优化技术融合化
• 1.2.3 存储设备智能化
• 1.2.4 存储管理事务化
• 1.2.5 存储介质多元化
• 1.2.6 存储系统节能化
• 1.3 研究内容与相关工作
• 1.3.1 面向 I/O 的存储一致性模型及协议实现技术
• 1.3.2 智能I/O控制技术
• 1.3.3 事务型存储管理技术
• 1.3.4 电磁混合存储加速技术
• 1.4 论文的主要研究工作与创新
• 1.5 论文结构
• 第二章 I/O 受限的并行加速比模型与可扩展并行 I/O 体系结构
• 2.1 I/O受限的并行加速比模型
• 2.2 I/O体系结构与系统可扩展性分析
• 2.2.1 集中式I/O体系结构
• 2.2.2 分布式并行I/O 体系结构
• 2.2.3 集中分布式并行I/O体系结构
• 2.3 面向高性能计算的可扩展并行I/O 系统结构
• 2.4 小结
• 第三章 涵盖I/O 的广义存储一致性模型及其实现技术
• 3.1 涵盖I/O的广义存储一致性模型
• 3.1.1 涵盖I/O的存储一致性视图
• 3.1.2 涵盖I/O的共享存储系统抽象模型
• 3.1.3 广义程序运行模型
• 3.1.4 广义顺序一致性模型
• 3.1.5 广义释放一致性模型
• 3.1.6 广义域一致性模型
• 3.2 基于LGScC模型的CC-NUMA系统全局DMA实现技术
• 3.2.1 支持GPDMA的CC-NUMA 一致性协议设计与实现
• 3.2.2 基于GPDMA的全局共享并行I/O 系统性能分析
• 3.3 性能评测与分析
• 3.3.1 并行I/O带宽测试
• 3.3.2 I/O 服务时间测试
• 3.3.3 与国际巨型机I/O系统比较
• 3.4 小结
• 第四章 基于强化学习的智能I/O 控制技术
• 4.1 强化学习
• 4.1.1 马尔可夫决策过程
• 4.1.2 目标函数
• 4.1.3 Q-学习算法
• 4.2 基于强化学习的I/O调度算法
• 4.2.1 问题提出
• 4.2.2 算法思想
• 4.2.3 环境状态的确定
• 4.2.4 多Q-表交叉组织方法
• 4.2.5 瞬时奖赏值函数
• 4.2.6 Q-值的更新方法
• 4.2.7 RL-scheduler算法
• 4.3 RAID控制器关键实现技术
• 4.3.1 总体结构
• 4.3.2 RAID智能控制模型
• 4.3.3 RAID存储管理算法
• 4.3.4 磁盘任务调度算法
• 4.4 实验评测与分析
• 4.4.1 RAID性能测试
• 4.4.2 RL-Scheduler算法评测
• 4.5 小结
• 第五章 支持事务语义的电磁混合存储技术
• 5.1 面向存储设备的事务语义基本框架
• 5.1.1 事务原语
• 5.1.2 版本管理
• 5.1.3 冲突处理
• 5.2 支持事务语义的电磁混合存储架构
• 5.2.1 电磁混合存储系统架构
• 5.2.2 支持事务语义的电磁混合存储策略
• 5.3 基于令牌的并行事务冲突处理技术
• 5.3.1 事务令牌
• 5.3.2 令牌元数据维护
• 5.3.3 冲突仲裁
• 5.4 自适应动态逻辑分区管理算法
• 5.4.1 算法思想
• 5.4.2 访问模式检测
• 5.4.3 基于边际效益的空间分配算法
• 5.4.4 结合版本管理的区内替换算法
• 5.5 实验评测与分析
• 5.5.1 模拟测试环境
• 5.5.2 自适应动态逻辑分区管理算法评估
• 5.5.3 基于混合存储的事务冲突处理机制性能评估
• 5.6 小结
• 第六章 总结与展望
• 致谢
• 参考文献
• 攻读博士学位期间发表的论文
• 攻读博士学位期间的科技成果
• 攻读博士学位期间参与的科研项目