数字有机体存储空间中配额机制的研究与实现

论文摘要

随着大规模网络应用的不断出现,数据存储的重要性越来越大。由于传统存储技术DAS的广泛采用,使得数据分散到各个服务器上,并且服务器大多都工作在不同的操作系统平台上(比如HP/UX、Solaris、Linux等),这就形成了所谓的“信息孤岛”,网络存储NAS和SAN的出现,虽然解决了部分问题,但与DAS之间的数据访问和管理相互独立,这就给数据的共享和统一管理带来了很大的困难。为此,存储虚拟化就显得特别重要了。通过存储虚拟化系统,所有存储资源将映射成一个统一的虚拟存储空间,用户可以通过应用程序接口API、命令行、GUI以及基于Web的用户界面来对它进行透明的访问和管理。本研究室所开发的数字有机体系统就是一个虚拟的存储系统。其核心思想是通过聚集网络上的各种存储资源,形成虚拟的单一空间,向业务系统提供统一的映像,并提供数据的高可用性保证,从而满足大规模网络应用的需要。但是,很多存储系统包括数字有机体系统都存在一个问题,那就是当存储资源共享之后,一个用户可以很容易的使用整个系统的大量共享的存储资源。因此如何确保用户不滥用系统存储空间,设立配额机制,限定每个用户的最大空间使用量就是一个必须解决的问题。这也是本研究的主要目的。而数字有机体是一个非集中式的系统,一个用户在某个时刻可能同时有多个登陆点,并分别在不同的登陆点上消耗分散在不同地域的存储资源。因此如果通过一个集中式的服务器来统一管理以及分配用户配额,不仅违背了数字有机体不能有集中控制点的建设初衷,也不能满足应用的需求。尽管在大规模的分布式存储系统中,配额管理是一个很重要的问题,但至今并没有很好的非集中式的解决方案提出。本文在数字有机体这个平台上,对虚拟存储系统的配额管理作了一次尝试。所设计和实现的配额机制能将用户的配额控制分散开,能够同时处理多用户、多并发的配额请求,达到了配额的异步分配的目的。并且为用户的配额信息设置了几个副本,保证了配额信息的可靠性。最终结果比不引入配额时的系统损失了5%的性能。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题的背景及意义
• 1.2 数字有机体系统
• 1.3 数字有机体系统中配额机制研究的内容
• 1.4 论文组织
• 第二章 存储系统比较
• 2.1 存储系统概述
• 2.2 常见存储系统介绍
• 2.2.1 直连式存储（DAS）
• 2.2.2 网络附接存储（NAS）
• 2.2.3 FC-SAN
• 2.2.4 IP-SAN
• 2.2.5 SAN和NAS的融合
• 2.2.6 虚拟存储技术
• 第三章 数字有机体系统
• 3.1 概述
• 3.2 数字有机体网络拓扑结构
• 3.3 数字有机体系统结构
• 3.3.1 数字有机体内核
• 3.3.2 数字有机体外核
• 3.3.3 分布式并行数据库（DPSQL）
• 第四章 配额机制的设计与实现
• 4.1 配额机制的设计目标
• 4.2 配额机制的几个关键问题
• 4.2.1 配额信息的冗余
• 4.2.2 配额的分配策略
• 4.2.3 配额的分配控制
• 4.2.4 站（节点）加入或退出
• 4.3 配额机制的实现
• 4.3.1 配额信息组成
• 4.3.2 配额信息转移规则
• 4.3.3 请求配额
• 4.3.4 归还配额
• 4.3.5 分配配额
• 4.3.6 更新配额
• 4.3.7 配额回收
• 第五章 测试与分析
• 5.1 测试环境
• 5.2 测试环境组织
• 5.3 功能测试
• 5.3.1 测试项分析
• 5.4 性能测试
• 5.5 总结
• 第六章 结论和后续研究建议
• 6.1 研究结论
• 6.2 后续研究建议
• 致谢
• 参考文献
• 攻硕期间取得的研究成果