基于SAN的异构机共享文件系统的设计与实现

基于SAN的异构机共享文件系统的设计与实现

论文摘要

大型企业的计算设施通常是由开放平台和大型机组成的多服务器异构环境,实现二者的计算资源集中存储和共享访问,对降低企业的存储管理成本具有非常重要的作用。 基于存储区域网络(Storage Area Network,SAN)异构机共享文件系统正是为实现开放平台和大型机对存储资源的共享访问而设计的。系统采用双网络型架构:将开放平台和大型机通过SAN网络连接存储设备,借助SAN的直接存储访问能力,系统可以拥有接近本地文件系统的存储访问性能;通过局域网(Locial Area Network,LAN)来传递开放平台和大型机间的文件访问控制信息,能很好地协调二者对设备的共享访问。此外,系统在开放平台上通过元数据代理模块和文件访问模块来模拟大型机文件系统功能,从而屏蔽了开放平台和大型机的文件系统差异,实现了数据的透明存储访问。 针对本系统主要的研究工作和研究成果如下: 1)研究了缓存、预读和聚集写、异步I/O、裸设备访问等多种磁盘文件读写技术,将其综合应用于系统的文件读写访问中。提出了一种与大型机文件系统特征相结合的BPB/TPB缓冲区长度调整策略。实验结果表明,采用上述策略后,系统的读性能最多可以提高0.15倍,写性能最多可以提高0.25倍。 2)研究了元数据服务器集群和冗余I/O路径的技术,并提出适用于本系统的简单且有效的负载均衡和容错算法,如针对元数据服务器集群的负载均衡提出了以服务器性能为权值的加权最小AP数算法等。采用上述两种技术后,系统的处理速度得到了提高并且避免了单点故障,系统具有了高可用性和高可靠性。 3)根据元数据事务消息的传输需求,在TCP/IP的基础上设计了新的两层协议RACP/RTCP,该协议通过一对一的请求和确认消息以及连接异常时的自动恢复功能,保证了元数据事务的可靠性传输。 4)根据字符设备的特殊需求,设计了一个伪设备驱动程序,它将块设备驱动的策略例程应用到字符设备的访问中,从而解决了光纤通道发生故障时字符设备的I/O死等问题。 基于SAN的异构机共享文件系统已被实现,并在实际中得到了初步应用。

论文目录

  • 摘要
  • ABSTRACT
  • 目录
  • 第1章 绪论
  • 1.1 研究背景
  • 1.2 国内外研究现状
  • 1.3 研究意义
  • 1.4 研究工作与论文组织
  • 第2章 网络存储和文件共享技术
  • 2.1 网络存储技术
  • 2.1.1 直连存储
  • 2.1.2 网络附带存储
  • 2.1.3 存储区域网络
  • 2.2 大型机文件系统
  • 2.2.1 大型机的FBA磁盘格式
  • 2.2.2 大型机的卷结构
  • 2.2.3 大型机的文件组成
  • 2.3 存储区域网络的文件共享
  • 2.3.1 实现文件共享的两种系统模型
  • 2.3.2 实现文件共享的关键问题
  • 2.4 小结
  • 第3章 异构机共享文件系统的设计
  • 3.1 双网络型架构设计
  • 3.1.1 系统的物理架构
  • 3.1.2 系统的逻辑架构
  • 3.2 开放平台端模块设计
  • 3.2.1 元数据代理模块Adksvr的设计
  • 3.2.2 文件访问模块Library的设计
  • 3.3 系统高可靠性的设计
  • 3.3.1 大型机集群
  • 3.3.2 冗余I/O路径
  • 3.4 元数据事务通信协议的设计
  • 3.4.1 扩展TCP/IP协议的必要性
  • 3.4.2 RTCP协议
  • 3.4.3 RACP协议
  • 3.5 小结
  • 第4章 异构机共享文件系统的实现
  • 4.1 文件I/O访问的实现
  • 4.1.1 裸磁盘访问
  • 4.1.2 文件构造表FECB
  • 4.1.3 地址转换
  • 4.2 I/O性能优化策略
  • 4.2.1 异步I/O访问
  • 4.2.2 双缓冲区
  • 4.2.3 BPB/TPB缓冲区长度调整策略
  • 4.3 进程间通信
  • 4.3.1 本机进程间通信
  • 4.3.2 远程进程间通信
  • 4.4 大型机集群的负载均衡和容错
  • 4.4.1 加权最小AP数算法
  • 4.4.2 失败切换算法
  • 4.5 冗余I/O路径的负载均衡和容错
  • 4.5.1 共享卷与I/O路径的映射关系
  • 4.5.2 最小任务数算法
  • 4.5.3 透明容错算法
  • 4.6 伪设备驱动开发技术
  • 4.6.1 几个重要概念
  • 4.6.2 addrv的设计思想
  • 4.6.3 addrv的数据结构
  • 4.6.4 addrv例程的实现
  • 4.7 小结
  • 第5章 异构机共享文件系统的性能分析
  • 5.1 测试环境
  • 5.2 基本I/O性能测试
  • 5.3 缓冲区调整技术对I/O性能的影响
  • 5.4 内存使用量测试
  • 5.5 系统性能评价
  • 5.6 小结
  • 第6章 结束语
  • 参考文献
  • 攻读硕士学位期间发表的学术论文
  • 致谢
  • 相关论文文献

    标签:;  ;  ;  ;  

    基于SAN的异构机共享文件系统的设计与实现
    下载Doc文档

    猜你喜欢