基于嵌入式Linux的海量存储系统中关键技术的研究

论文摘要

随着Internet技术的发展,社会的信息化程度进一步提高,越来越多的面向海量数据管理的大型应用（如流媒体、大型中央平台等）不断涌现。传统的DAS体系结构下的存储系统已经远远不能满足需求,基于网络存储技术的NAS、SAN体系结构的存储系统在一定程度上解决了传统存储系统的扩展性和数据传输速度的问题,改变了以服务器为中心的存储架构,但文件服务器仍然是整个存储系统性能提升的瓶颈。分布式存储能提高存储系统的性能,尤其是在系统的扩展性方面,但管理和维护分布式存储系统的成本很高。将分布式存储系统与传统的集中式存储系统结合起来,将系统中的存储节点直接接入网络实现与用户的直接数据交互,由文件服务器统一管理就能够充分结合两者的优势,从而实现一种文件集中管理,数据分布存储的海量存储系统。这种海量存储系统实现了命令与数据的分离,消除了服务器的瓶颈。同时,可以针对系统中的存储节点配置网络通道,体现出了海量存储系统扩容的思想。存储市场上各大公司竞争激烈,海量存储系统不可避免的要面对异构节点的增加的情况,存储节点的管理会更加复杂。存储虚拟化技术实现基于存储设备的虚拟化,将存储系统中各种异构的存储资源统一成单一的逻辑视图,对于有效利用系统中的各种异构资源,实现高性能数据传输重要的作用。区别于传统存储系统的特征,双通道磁盘阵列的使用,海量的用户请求,决定了HW-MSS在时空并行性方面有很大的提升空间。冗余磁盘阵列的使用和系统的高扩展性带来了系统空间并行性的提升。流水线调度机制实现用户与磁盘阵列的数据交互过程的并行,则是在时间并行性方面实现对系统整体性能的提高。在分布存储、集中管理的海量存储系统中,屏蔽硬件差别的存储虚拟化技术和提高时空并行性的流水线技术是对海量存储系统整体性能影响较大的两个关键点,本论文主要研究如何有效地实现这两个关键技术。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 课题的背景和意义
• 1.2 海量存储系统现状
• 1.3 本文研究的主要内容
• 1.4 本文的章节结构
• 第二章 海量存储系统
• 2.1 RAID 和海量存储
• 2.1.1 RAID 简介
• 2.1.2 主要的RAID 类别
• 2.1.3 海量存储
• 2.2 SCSI 和FC
• 2.2.1 SCSI
• 2.2.2 FC
• 2.3 存储系统的体系结构
• 2.3.1 存储系统的体系结构
• 2.3.2 存储系统I/O 通道的体系结构
• 2.3.3 海量存储系统（HW-MSS）的体系结构
• 2.4 文件组织
• 2.4.1 海量存储系统（HW-MSS）的文件组织
• 2.4.2 文件I/O 和块I/O
• 2.5 海量存储系统（HW-MSS）的特点
• 2.6 本章小结
• 第三章 海量存储系统的操作系统的研究
• 3.1 嵌入式实时操作系统
• 3.2 Linux 内核技术研究
• 3.3 本章小结
• 第四章 存储虚拟化技术的研究
• 4.1 存储虚拟化
• 4.1.1 存储虚拟化的介绍
• 4.1.2 存储虚拟化的分类
• 4.1.3 存储虚拟化的实现方法
• 4.2 块I/O 子系统分析
• 4.2.1 块I/O 子系统
• 4.2.2 SCSI 协议栈
• 4.3 存储池虚拟化的研究与实现
• 4.3.1 存储池虚拟层的层次结构
• 4.3.2 存储池虚拟层的具体实现
• 4.3.3 存储池虚拟层的内存管理
• 4.3.4 性能测试
• 4.3.5 存储池虚拟层的应用
• 4.4 本章小结
• 第五章 磁盘阵列调度策略的研究
• 5.1 HW-MSS 中的磁盘阵列的体系结构
• 5.2 磁盘阵列的工作原理
• 5.3 磁盘阵列流水线调度策略分析及测试
• 5.3.1 磁盘I/O 响应过程分析
• 5.3.2 流水线策略分析
• 5.3.3 基于流水线策略的I/O 响应过程
• 5.3.4 性能分析
• 5.3.5 性能测试
• 5.4 本章小结
• 第六章 结论
• 6.1 结论
• 6.2 进一步的工作
• 参考文献
• 致谢
• 攻读硕士学位期间的研究成果