基于虚拟接口的网络存储系统研究

论文摘要

计算机与互联网技术日新月异,人类社会信息化进程逐步深入,数据密集型应用不断涌现,存储需求也因此不断扩大,存储系统面临着严峻的挑战。存储系统不仅要具有较高的访问速度,同时还要能够合理地利用所有异构的存储资源,具有高可靠性和可扩展性。因此,利用高速网络通道组建网络存储系统并且在存储技术上寻求创新与突破是迎接这一挑战的最佳策略。虚拟接口体系结构（Virtual Interface Architecture,VIA）是轻量级通信协议的工业标准,它具有通信开销小,传输带宽高等很多固有优点。特别是它缩短了传统的I/O路径,较好地解决了以FC（Fibre Channel）为基础的存储网络互操作性问题,而且提供了远程DMA（Direct Memory Access）传输机制,可以实现直接存储访问。因此,将VIA应用于网络存储系统中,构建基于虚拟接口存储网络系统VISA（Virtual Interface Storage Architecture）可以有效地缓解网络存储系统中的传输瓶颈,解决存储网络的兼容性和互操作性,节省存储开支。VISA系统中存储资源由存储节点提供,被元数据服务器管理调度,位于VISA内部的用户可以直接使用这些存储资源,远程用户可以通过iSCSI连接进行远程存储访问。VISA系统利用VIA作为数据通信传输协议,而已有的VIA实现要么因为使用专用的特殊网络设备,不仅兼容性不好,而且造价昂贵,要么因为抹煞了VIA的固有优点而造成性能不高。为了克服这些缺陷,进一步提高VISA系统的性能并保持其良好的兼容性和互操作性,设计了适合于存储的VI网络适配器VI-NIC（Virtual Interface Network Interface Card）。它采用以太网作为传输媒介,通过SOC（System On Chip）的方式在适配器端实现VIA协议功能,从而降低了主机的通信开销,提高了数据传输性能,并且保持了良好的兼容性和低价格。异构存储资源的管理与存储资源利用率不高是存储系统需要解决的另一难题。为此在VISA系统中实现了两级存储虚拟化,第一级存储虚拟化是由存储节点将异构的存储设备虚拟为具有统一访问界面的存储实体,第二级存储虚拟化则是通过存储资源的动态分配与块地址的动态映射实现块级存储虚拟化。第一级存储虚拟化实现了对异构存储资源的统一管理与访问,块级存储虚拟化则既提高了存储资源的利用率,节约了存储成本,又可以通过优化的存储资源分配与块地址映射策略提高存储访问性能。在VISA系统中,存储资源分配与块地址映射策略是影响系统性能的一个关键因素,因此设计并分析了三种不同的分配与映射算法。布局优先的资源分配与块地址映射算法仅考虑数据的分布与布局,可以实现对数据读取性能的优化;负载优先的资源分配与块地址映射算法则仅考虑了存储节点的负载对存取性能的影响,可以优化写请求的响应时间。综合二者的优点,综合的资源分配与块地址映射算法既考虑到存储节点的当前负载情况,又兼顾数据分布与布局的均匀性,实现了对VISA系统读/写性能的全面优化。缓存一直都是优化系统性能的一项重要技术,而决定其性能的关键因素则包括数据块的替换策略和数据块的放置策略两个方面。根据网络存储系统的特性和VISA系统的缓存分布特征,提出了访问即可淘汰的第二级缓存替换策略和基于存储地址空间连续性和局部性的智能预取策略。它们在几乎不增加系统开销的情况下可以有效地改善VISA系统的存储访问性能。

论文目录

• 摘要
• Abstract
• 1 概述
• 1.1 存储市场需求
• 1.2 存储体系结构的变革
• 1.3 存储技术的改进与创新
• 1.4 高速通道和网络技术
• 1.5 已有的VIA 实现技术与不足
• 1.6 本文研究的主要内容和意义
• 2 VISA 存储系统体系结构
• 2.1 VISA 总体结构
• 2.2 块级存储资源管理
• 2.3 VISA 中的存储访问过程
• 2.4 VISA 系统的主要特点
• 2.5 VISA 系统的实现技术
• 2.6 VISA 系统的性能测试
• 2.7 本章小结
• 3 VISA 中的存储资源分配与块地址映射策略
• 3.1 数据布局
• 3.2 存储虚拟化技术
• 3.3 VISA 中的数据布局与块级存储虚拟化
• 3.4 资源分配与块地址映射算法
• 3.5 算法效能测评
• 3.6 本章小结
• 4 基于虚拟接口的网络适配器
• 4.1 SOC 的特点与优势
• 4.2 VI-NIC 的结构与特点
• 4.3 VI-NIC 中的关键技术
• 4.4 VI-NIC 的工作过程
• 4.5 VI-NIC 的性能分析
• 4.6 本章小结
• 5 网络存储系统中的Cache 管理与调度
• 5.1 Cache 概述
• 5.2 Cache 预取技术
• 5.3 VISA 系统中的Cache 管理
• 5.4 性能评估
• 5.5 本章小结
• 全文总结
• 致谢
• 参考文献
• 附录1：攻读学位期间发表的学术论文目录
• 附录2：攻读学位期间申请的专利