一种基于SOA的广域分布文件存储框架

论文摘要

随着Internet的发展,传统分布式文件系统越来越无法满足广域环境下文件组织、共享的需求:存储文件数、用户数量远远超出了单个文件系统的管理能力;存储资源异构、分布,还具有自治特点,传统分布式文件系统无法管理这些广域分布、异构的存储资源;运行环境复杂多样,对数据共享产生了障碍。此外,传统分布式系统一般都采用C/S结构,模块之间的耦合性比较强,也会导致多种不同的分布式文件系统之间缺乏互操作性。本文针对广域分布式环境和数据密集型应用需求,提出了一个面向服务的文件管理系统SOFMS（Service Oriented File Management System）。SOFMS采用面向服务的软件体系结构,将异构节点上的存储资源发布成统一的web服务接口,屏蔽资源的异构性;SOFMS使用虚拟化技术将广域分布式环境下的存储资源封装成统一的文件存储资源,对用户提供统一的文件视图与访问接口,实现存储资源的共享。基于SOFMS,我们将广域分布式环境下零散的计算机以及计算机上的存储资源,构建一套广域分布式文件管理系统,有效利用这些闲置的存储资源,为最终用户和应用提供统一的文件存储资源。本文主要成果如下:1.设计了广域分布式环境下的EVP文件存储模型。本文定义了文件存储模型:E-有效存储空间,V-虚拟存储空间,P-物理存储空间。底层的物理存储空间通过V-P映射,构建了统一操作接口的虚拟存储空间;虚拟存储空间通过E-V映射,构建了面向最终用户、应用的有效存储空间。2.开发了基于SOA体系结构的文件管理系统。本文设计了面向服务的文件管理系统结构,系统相关接口都用标准的web服务接口实现。标准的web服务实现屏蔽了底层存储资源的异构特性,对外提供统一的访问接口。由于服务之间通过消息通信而不是通过API的形式相互调用,使得系统耦合度更低,降低系统开发与维护的成本。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 绪论
• 1.1 研究背景
• 1.2 本课题主要研究内容
• 1.3 本文的贡献
• 1.4 论文的组织
• 第二章 文件管理系统构造
• 2.1 相关工作
• 2.2 分布式文件管理需要研究的问题
• 2.3 EVP文件存储模型
• 2.4 文件的交互问题
• 2.5 文件传输
• 第三章 文件管理系统设计
• 3.1 设计原则
• 3.2 文件管理系统总体结构
• 3.4 数据服务
• 3.4.1 数据服务功能
• 3.4.2 数据的存储
• 3.4.3 数据安全
• 3.5 元数据服务
• 3.5.1 命名
• 3.5.2 文件权限
• 3.5.3 用户空间限额（quota）
• 3.5.4 文件回收站
• 3.6 文件服务客户端
• 3.6.1 客户端接口
• 3.6.2 客户端API的实现
• 3.6.3 其它类型的客户端
• 第四章 文件管理系统实现
• 4.1 数据服务实现
• 4.1.1 概述
• 4.1.2 模块类图
• 4.2 元数据服务实现
• 4.2.1 概述
• 4.2.2 模块类图
• 4.3 文件管理系统客户端
• 4.3.1 概述
• 4.3.2 模块类图
• 4.4 文件传输协议
• 4.4.1 HTTP协议
• 4.4.2 文件传输协议实现
• 4.4.3 文件传输客户端实现
• 4.5 其他附属子系统
• 4.6 系统用例图
• 4.7 系统时序图
• 4.7.1 上传文件时序图
• 4.7.2 下载文件时序图
• 4.7.3 删除文件时序图
• 4.7.4 List文件时序图
• 第五章 系统测试与评价
• 5.1 系统功能性测试
• 5.1.1 单元测试
• 5.1.2 系统功能测试
• 5.2 系统性能测试
• 5.2.1 测试计划
• 5.2.2 文件传输性能
• 5.2.3 元数据服务性能
• 5.2.4 系统管理性能
• 5.3 系统测试分析
• 5.3.1 文件管理系统与FTP的比较
• 5.3.2 文件管理系统传输协议与GridFTP的比较
• 5.3.3 文件管理系统与AFS的比较
• 5.4 系统限制
• 5.4.1 系统性能
• 5.4.2 系统安全
• 第六章 总结与下一步研究方向
• 6.1 本文工作总结
• 6.2 下一步的研究方向
• 致谢
• 参考文献
• 附录: 攻读硕士学位期间发表的论文