基于IP-SAN的I/O加速技术研究

论文摘要

随着信息资源的快速增长,对存储系统容量、数据可用性以及I/O性能等方面提出了越来越高的要求。存储产品不再是附属于服务器的辅助设备,而成为互联网中最主要的设备之一。网络存储技术经历了DAS、NAS和SAN三个阶段,其中,IP-SAN利用了现有IP网络成熟性和普及性的优势,越来越引起人们的关注,但现有存储系统在可扩展、高I/O性能、高质量服务等方面跟不上企业的需求。因此,加强IP-SAN中存储网络的I/O技术研究,有效利用既定的网络条件,提高IP网络存储系统I/O性能至关重要。IP-SAN存储系统的I/O路径涉及数据拷贝的多个环节,本文从导致I/O性能瓶颈的可能因素分析入手,提出了IP-SAN存储系统数据流与命令流分离的I/O加速方法。利用TCP/IP协议卸载技术和内核旁路的RDMA技术,设计了该加速方法的DCS体系结构、工作方式及DCS在实现过程中各部分的主要方法与数据结构。然后,基于RAID0和RAID5技术组合,建立了多I/O通道并行加速模型,设计了多个阵列适配卡分条和卡上多个磁盘分条的两级并行数据组织和分布方式,以提高I/O访问的并发性。设计了基于Cache描述符控制块的哈希链式查找算法和基于Cache页访问频率计数的二次机会置换算法,实现了一种主机数据接收与IP-SAN存储设备预读并发进行的策略。最后以存储管理服务器的CPU消耗率与I/O性能为测试指标,用对比实验的方法分别测试了上述加速技术性能,测试结果表明本文提出的加速技术对IP-SAN存储系统I/O性能有非常显著的效果。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 研究背景和意义
• 1.2 国内外研究现状
• 1.3 主要工作及内容
• 第2章 IP-SAN 体系结构与I/O 性能
• 2.1 IP-SAN 体系结构
• 2.2 IP-SAN 基本原理
• 2.2.1 SCSI 协议阐述
• 2.2.2 iSCSI 原理和结构
• 2.2.3 iSCSI 序列机制
• 2.2.4 iSCSI 登录和安全验证
• 2.2.5 iSCSI 任务管理机制
• 2.2.6 iSCSI PDU 格式
• 2.2.7 iSCSI 恢复机制
• 2.3 IP-SAN 存储系统的I/O 性能瓶颈
• 2.3.1 iSCSI 协议I/O 性能分析
• 2.3.2 存储设备I/O 性能分析
• 2.3.3 服务器I/O 性能分析
• 2.4 小结
• 第3章 数据流与命令流分离的I/O 加速技术研究
• 3.1 TOE 与RDMA 原理
• 3.1.1 TOE 原理
• 3.1.2 RDMA 原理
• 3.2 DCS 设计方案
• 3.3 DCS 体系结构
• 3.4 DCS 软件设计
• 3.4.1 DCS 软件系统结构
• 3.4.2 DCS 工作方式
• 3.4.3 主要数据结构及方法
• 3.5 小结
• 第4章 基于多I/O 通道的数据组织与分布策略
• 4.1 多I/O 通道体系结构
• 4.2 数据组织与分布
• 4.2.1 固定RAID 数据组织与分布
• 4.2.2 动态RAID 数据组织与分布
• 4.2.3 二级并行的数据组织与分布
• 4.3 并行数据访问与I/O 拆分
• 4.3.1 并行数据访问
• 4.3.2 I/O 拆分
• 4.4 多线程并行I/O 调度算法
• 4.5 多I/O 通道下的CACHE
• 4.5.1 基于Cache 的存储转发
• 4.5.2 Cache 结构
• 4.5.3 Cache 页查找算法
• 4.5.4 Cache 页替换算法
• 4.5.5 数据传输
• 4.6 多I/O 通道的性能分析
• 4.7 小结
• 第5章 性能测试与结果分析
• 5.1 DCS 体系结构下的I/O 性能与CPU 性能消耗测试
• 5.2 ISCSI 协议的读/写性能测试
• 5.3 多I/O 通道并行的存储系统性能测试
• 结论
• 致谢
• 参考文献
• 附录1：攻读硕士学位期间发表的论文及科研情况