论文题目: 广域网络存储虚拟化技术研究
论文类型: 博士论文
论文专业: 计算机科学与技术
作者: 邓劲生
导师: 周兴铭
关键词: 广域网络,网络存储,非对称虚拟化,热度动态迁移,多副本分片,层次式存储网络拓扑,层次式统一内存,竞标,资源管理
文献来源: 国防科学技术大学
发表年度: 2005
论文摘要: 随着大规模存储系统的应用越来越广泛，复杂性随着信息资源的爆炸式增长而与日俱增，信息资源的远程共享也日渐重要。当前的趋势是将分布于广域范围的存储资源互联起来，使用网络存储虚拟化来屏蔽具体存储设备的物理细节，将系统中各种异构的存储设备映射为单一的存储映像，增强互操作性以达到对用户完全透明的目的，为管理员提供统一集中的存储管理功能。 但是如何协调各种异构存储设备和存储中间件形成整体，在不稳定的底层网络上达到高可用性，在相对较窄的带宽上提高数据访问的速率，在资源共享的同时保持一定程度的自治并在给予时获得期望回报，是非常值得研究的课题。本文围绕这些问题开展了一些有意义的研究工作。 本文首先构建了基于异构底层非对称虚拟化的卷管理系统SVVMS，作为研究的基础平台。它将原来用于单机和局域网环境的卷管理器扩展到广域网络上，将各种底层存储网络如SAN、NAS、JBOD等纳入框架，使用网络非对称虚拟化形成一个具有单一I／O空间的虚拟存储池供上层应用使用。将存储资源的元数据分开单独由存储资源信息服务器SRIS处理，和严格的分层所有权控制，使SVVMS能够具备比现有卷管理器更为广泛的适应性。 随后，在对分布式网络RAID进行分析研究的基础上，本文设计了一种基于广域网络的热度动态迁移多副本分片策略MCSP。它对RAID 5进行扩展，将数据分片分散存储在网络中的各节点，并针对不稳定的广域网络使用多副本，以获得期望的可用性。副本根据被访问的时空局部性和阈值在节点之间迁移，以达到在多副本改善效率和一致性维护增加开销之间的折中。实验表明，它能够很好地将副本数量约束在既满足期望的系统可用性又不为系统增加太多开销之间，使得数据的访问速率达到尽可能最优。 接着，本文研究了广域网络存储虚拟化形成的拓扑结构，指出现有简单层次模型的不足，提出了层次式存储网络拓扑模型HSNT用以发现网络拓扑并设计Fabric。在发现中，结合存储网络的实际特点提出IP路径合并算法，并进行拓扑结构规整。Fabric的设计是NP问题，本文采用Prufer编码生成随机拓扑，使用基于遗传的启发式算法求解拓扑最优解，并给出用于Fabric自动设计的模拟器。 在前面MCSP和HSNT的基础上，本文进一步提出层次式统一内存Cache管理策略HUMC，将协作式Cache的思想扩展到层次式广域存储网络上，将远程计算机的内存统一成系统的全局Cache，作为本地磁盘的Cache以存储数据副本，实验表明可以取得良好加速效果。在使用层次式读写令牌的派生机制保持Cache一致性的同时，达到了尽量将跨广域网络的流量变成本地存储网络域中内部流量的目的，使得大部分的数据访问无需在延迟大、带宽窄的WAN上耗费时间，实验表明可以有效改善对速率不匀的底层存储进行广域网络虚拟化所带来的响应时间不确定问题。
论文目录:
摘要
ABSTRACT
第一章 绪论
§1．1 研究背景
1．1．1 RAID
1．1．2 存储区域网络
1．1．3 网络附接存储
1．1．4 SAN和NAS的融合趋势
1．1．5 存储网络广域互联
1．1．6 基于广域虚拟化的存储网格前景
§1．2 相关研究现状和不足
1．2．1 基于主机的存储虚拟化
1．2．2 基于存储设备的虚拟化
1．2．3 基于网络的虚拟化
§1．3 本文研究内容及创新
1．3．1 基于广域存储虚拟化的卷管理系统
1．3．2 工作主要创新
§1．4 本文结构
第二章 基于异构底层非对称虚拟化的卷管理系统
§2．1 问题的提出
2．1．1 卷管理器相关研究
2．1．2 基于网络存储虚拟化的卷管理器
§2．2 非对称虚拟化卷管理系统SVVMS
2．2．1 SVVMS的构造
2．2．2 存储对象的所有权管理
2．2．3 SVVMS的动态并发协调
2．2．4 SVVMS与现有卷管理器对比
§2．3 SVVMS的I／O时间分析
2．3．1 广域网络的传输延迟
2．3．2 IP SAN的I／O时间
§2．4 优化I／O时间的可能措施
2．4．1 减少启动时间
2．4．2 并发处理多副本数据
2．4．3 带宽配置和网络拓扑设计
2．4．4 负载均衡和服务质量
§2．5 本章小结
第三章 热度动态迁移的多副本分片策略
§3．1 引言
§3．2 数据的分片存储
3．2．1 数据分片的可用性
3．2．2 扩展RAID5放置校验块
3．2．3 在降级模式下的读写操作
3．2．4 数据粒度的确定
§3．3 多副本分片策略
3．3．1 多副本的二维模型
3．3．2 计算所需副本数量
3．3．3 副本的分布
§3．4 副本的热度动态迁移
3．4．1 多副本并发访问
3．4．2 热度动态复制副本
3．4．3 一致性对副本数量的约束
§3．5 MCSP系统模拟
3．5．1 基于iSCSI的IP SAN模拟
3．5．2 模拟数据分析
§3．6 本章小结
第四章 层次式存储网络拓扑HSNT的发现和设计
§4．1 相关层次结构研究
§4．2 层次拓扑结构发现
4．2．1 IP路径测试
4．2．2 平均延时计算
4．2．3 IP路径合并
§4．3 HSNT拓扑结构规整
4．3．1 对拓扑结构进行精简
4．3．2 层次拓扑结构树生成
§4．4 设计FABRIC时考虑的拓扑特性
4．4．1 Fabric拓扑静态模型
4．4．2 拓扑设计问题的分析
§4．5 FABRIC拓扑设计算法和模拟
4．5．1 以Prufer编码生成随机拓扑
4．5．2 基于遗传的启发式算法
4．5．3 采用评估函数加快求解过程
4．5．4 对Fabric拓扑设计进行模拟
§4．6 本章小结
第五章 副本的层次式统一内存CACHE管理策略
§5．1 引言
§5．2 在存储网络中构建层次式统一内存CACHE
5．2．1 在存储网络运用协作式Cache思想的可行性
5．2．2 小规模环境下的HUMC策略
5．2．3 在大规模环境下引入层次结构
§5．3 HUMC对CACHE一致性的层次维护
5．3．1 在HUMC中引入层次令牌
5．3．2 令牌的层次派生
5．3．3 层次令牌有效期的确定
§5．4 系统性能模拟器设计
5．4．1 Trace的收集及其特性
5．4．2 模拟器系统模型及实现
§5．5 HUMC的性能评价
5．5．1 使用HUMC前后对比
5．5．2 层次令牌的效果
§5．6 本章小结
第六章 一种基于竞标机制的资源管理模型
§6．1 引言
§6．2 基于消费者／提供者的资源实体模型
6．2．1 模型中的实体
6．2．2 模型的节点管理
6．2．3 实体之间的经济关系模式
6．2．4 模型时序图
§6．3 资源竞标策略
6．3．1 竞标基本过程
6．3．2 冯·诺伊曼和摩根斯坦效用分析
6．3．3 竞标原则
6．3．4 价格协商策略
§6．4 原型系统模拟数据分析
6．4．1 负载均衡效果
6．4．2 消费者满意度影响
§6．5 本章小结
第七章 总结和展望
§7．1 本文总结
§7．2 进一步的工作
致谢
攻博期间发表的部分论文
攻博期间出版的著(译)作
参考文献
附录 本文缩写语表
发布时间: 2006-09-22
参考文献
- [1].海量存储资源海量存储资源管理关键技术研究[D]. 李洁琼.华中科技大学2011
相关论文
- [1].高性能网络存储技术研究[D]. 卢军.电子科技大学2002
- [2].大规模分布式存储技术研究[D]. 魏青松.电子科技大学2004
- [3].iSCSI-SAN网络异构存储系统管理策略的研究[D]. 向东.华中科技大学2004
- [4].基于主动网络技术的存储网络关键技术的研究[D]. 孔华锋.华中科技大学2004
- [5].基于网络磁盘阵列的海量信息存储系统[D]. 邓玉辉.华中科技大学2004
- [6].支持最终用户编程的服务虚拟化方法研究[D]. 房俊.中国科学院研究生院（计算技术研究所）2006
- [7].基于虚拟接口的网络存储系统研究[D]. 陈俭喜.华中科技大学2006
标签：广域网络论文; 网络存储论文; 非对称虚拟化论文; 热度动态迁移论文; 多副本分片论文; 层次式存储网络拓扑论文; 层次式统一内存论文; 竞标论文; 资源管理论文;