基于以太网的存储系统研究

论文题目: 基于以太网的存储系统研究

论文类型: 博士论文

论文专业: 计算机系统结构

作者: 胡风华

导师: 侯紫峰

关键词: 网络存储系统,以太网存储系统,传输协议

文献来源: 中国科学院研究生院（计算技术研究所）

发表年度: 2005

论文摘要: 计算机硬件技术不断发展,计算机系统结构也随之发生了巨大改变。计算机系统的中心正在逐步由传统的CPU,内存和网络向存储系统转移。网络存储系统适应这种要求得到迅速发展。特别是基于以太网的存储系统的出现,使得网络存储系统的大规模普及成为可能。机群系统是当今并行计算的主流结构,在机群系统中通常采用基于SAN架构的网络存储子系统。由于SAN的总拥有成本过高,阻碍了机群系统的普及。因此研究机群环境下的以太网存储系统具有现实意义。当前的以太网存储系统主要是基于TCP传输协议的iSCSI系统,通过对TCP上的软件iSCSI系统性能的测试和分析,我们发现,TCP传输协议无法很好地适应存储系统应用的特殊需求,使得iSCSI系统传输带宽较低,CPU资源占用较多。传输协议开销过高导致iSCSI系统性能的降低,因此改善传输协议性能有助于提高iSCSI存储系统性能。为了提高iSCSI传输性能,本文提出了一种新的传输协议HSP。针对以太网环境下的iSCSI存储系统,HSP协议精简了协议层次,直接使用数据链路层提供的服务来发送数据。它使用基于数据组窗口的流量控制方式,使得其可以在一次传输中发送更多的数据。它使用基于定时器的确认和数据包重传,以及定时器的动态调整机制,使得其能有效的防止网络拥塞的发生,使用正向确认和选择性确认使得系统能获得更高的带宽利用率。HSP协议还提供包括身份认证和数据加密的安全机制。CPN作为一种模型工具,广泛应用在分布式系统,并发系统,以及协议的描述与验证中。为了校验HSP协议的数据传输正确性,我们使用了CPN作为描述HSP数据传输的工具。在使用CPN对HSP数据传输过程建立模型后,我们也使用了软件工具对该模型进行了校验,结果表明,HSP能正确地传输数据。通过分析Linux操作系统的网络子系统体系结构,我们给出了HSP协议实现的方法,并在Linux上成功地实现了HSP协议。我们对HSP协议实现进行了初步的性能测试和分析,通过与TCP的比较,结果表明HSP协议在网络存储这种大数据量传输的环境下,其性能优于TCP,其网络物理带宽利用率超过90%。同时我们在HSP传输协议上运行iSCSI软件,并对其进行了性能测试,测试结果显示,其性能超过了在TCP上运行的性能。基于HSP传输协议,我们提出了一种适合机群系统的以太网存储系统。在一个高速的吉比特以太网环境下,连接了多台存储服务器,它们组成一个小型机群系统。这些存储服务器都连接了大容量的磁盘设备,存储服务器通过HSP传输协议和iSCSI将本地硬盘输出给其他存储服务器成为一个可共享的网络磁盘设备,将所有这些网络磁盘设备使用逻辑卷组织成一个单一的虚拟磁盘设备。在虚拟磁盘设备上构建具有全局单一映象的机群文件系统。通过网络文件系统,将机群文件系统输出给外部使用。这种以太网存储系统具有成本低廉,高可扩展,易管理等特点,不仅适合于作为机群系统的存储子系统,也可应用在许多其它领域。

论文目录:

摘要

英文摘要

图目录

表目录

第1章引言

1.1 计算机体系结构的变化

1.2 计算机系统中心的迁移

1.3 高速连网技术

1.3.1 光纤通道

1.3.2 以太网（Ethernet）

1.3.3 InfiniBand

1.4 文件系统的发展

1.4.1 本地文件系统

1.4.2 分布式文件系统

1.4.3 机群文件系统

1.4.4 并行文件系统

1.5 存储系统的分类

1.5.1 DAS

1.5.2 NAS

1.5.3 SAN

1.5.4 E-SAN

1.5.5 SAN 和NAS 相结合的系统

1.6 网络存储系统的应用现状

1.6.1 社会信息服务

1.6.2 企业计算

1.6.3 高性能计算

1.7 项目背景

1.7.1 联想深腾高性能服务器总体结构

1.7.2 深腾高性能服务器硬件结构

1.7.3 深腾存储系统的问题

1.8 本文的主要贡献和内容

第2章 iSCSI 协议与实现及其在TCP/IP 下的性能研究

2.1 SCSI 与iSCSI 的提出

2.2 iSCSI 体系结构

2.2.1 iSCSI 寻址与命名

2.2.2 iSCSI 会话

2.2.3 iSCSI PDU 格式

2.2.4 iSCSI 数据传输

2.2.5 iSCSI 错误处理

2.2.6 iSCSI 安全

2.3 iSCSI 协议实现

2.3.1 软件实现

2.3.2 硬件实现

2.4 TCP/IP 下iSCSI 性能研究

2.5 本章小结

第3章 HSP 传输协议

3.1 网络存储系统的特点

3.2 HSP 概述

3.3 HSP 寻址

3.4 HSP 状态

3.5 连接建立

3.6 数据传输

3.6.1 相关数据结构

3.6.2 数据发送

3.6.3 数据接收

3.6.4 确认发送与处理

3.7 错误检测方法

3.7.1 校验和

3.7.2 序列号

3.7.3 定时器

3.8 错误检测与恢复

3.8.1 数据包传输错误

3.8.2 确认包传输错误

3.8.3 数据重传

3.9 发送周期和确认周期调整

3.10 连接释放

3.11 HSP 安全

3.11.1 身份认证

3.11.2 数据加密

3.12 HSP 包格式

3.13 本章小结

第4章 HSP 数据传输的CPN 模型

4.1 Petri 网基础

4.1.1 Petri 网

4.1.2 Petri 网基本概念

4.2 着色Petri 网(CPN)

4.2.1 多重集

4.2.2 着色Petri 网

4.3 HSP 数据传输的CPN 模型

4.3.1 发送者

4.3.2 网络

4.3.3 接收端

4.3.4 HSP 模型的全局申明

4.4 CPN 的动态性质

4.5 CPN 的校验与OG 图

4.6 Design/CPN 简介

4.7 HSP 传输模型的OG 图及分析

4.8 本章小结

第5章 HSP 协议的实现及其性能

5.1 Linux 的网络体系结构

5.2 Linux 的网络实现分析

5.2.1 应用层与传输层的接口

5.2.2 网络层与数据链路层的接口

5.2.3 传输层与网络层接口

5.3 HSP 协议的Linux 实现

5.3.1 HSP 协议与外部的接口

5.3.2 HSP 连接建立的处理

5.3.3 数据发送处理

5.3.4 数据接收处理

5.4 HSP 的性能

5.4.1 测试环境

5.4.2 测试过程

5.4.3 测试结果及分析

5.5 本章小结

第6章基于HSP 的以太网存储系统

6.1 机群系统对存储系统的要求

6.2 联想深腾高性能服务器的存储子系统

6.3 联想存储机群设计原则

6.4 联想存储机群系统总体结构

6.5 存储服务器磁盘组织方式

6.5.1 数据条带化

6.5.2 数据镜像

6.5.3 带校验的数据条带化

6.5.4 分布的带校验的条带化

6.6 服务器之间的互联

6.6.1 单一交换机

6.6.2 多交换机

6.6.3 无交换机的全互联结构

6.7 存储服务器软件

6.7.1 设备驱动程序

6.7.2 HSP 协议层

6.7.3 iSCSI 层

6.7.4 SCSI 子系统

6.7.5 逻辑卷管理系统

6.7.6 机群文件系统

6.7.7 网络文件系统

6.8 存储机群管理软件

6.9 负载均衡软件

6.10 联想存储机群的特点

6.11 联想存储机群的应用

6.12 本章小结

第7章结束语

7.1 本文工作总结

7.2 下一步研究方向

参考文献

致谢

作者简介

发布时间: 2006-12-27

参考文献

[1].事务存储系统：事务冲突与事务并行[D]. 曾坤.国防科学技术大学2011
[2].关于存储系统性能的测试、仿真与评价的研究[D]. 刘劲松.华中科技大学2004
[3].大规模多媒体存储系统中数据放置与调度策略的研究[D]. 王俊伟.国防科学技术大学2005
[4].高性能存储系统研究[D]. 郇丹丹.中国科学院研究生院（计算技术研究所）2006
[5].二级网络条纹数据布局及其相关问题的研究[D]. 刘晓光.南开大学2002
[6].对等存储系统中的数据可用性与安全性研究[D]. 田敬.北京大学2007
[7].进化存储系统数据组织模式研究[D]. 李怀阳.华中科技大学2006
[8].进化存储系统中的逻辑和物理进化研究[D]. 刘艳.华中科技大学2006
[9].列存储系统的数据安全与网络性能优化模型研究[D]. 王福伟.燕山大学2016
[10].大规模分布式纠删码存储系统中的高效数据传输技术研究[D]. 张菁.国防科学技术大学2015

基于以太网的存储系统研究

猜你喜欢