论文题目: 基于共享对象存储设备的并行文件系统研究
论文类型: 博士论文
论文专业: 计算机系统结构
作者: 谈华芳
导师: 侯紫峰
关键词: 并行文件系统,分布式元数据管理,数据放置,多副本一致性,原子
文献来源: 中国科学院研究生院（计算技术研究所）
发表年度: 2005
论文摘要: 机群计算的发展使得I/O瓶颈问题越来越严重,为了缓解这个瓶颈,研究者开始关注一种新型存储架构,对象存储架构。本文研究构筑在该架构上的一个并行文件系统,它为使用机群计算的应用提供高性能的、可扩展的文件服务和高可靠的数据存储。本文具体的研究成果如下:1.提出了一种动态散列分区的元数据组织管理方法。它在保持单一名字空间的前提下,通过使用一组带共享存储的机群实现对文件系统元数据的分布式管理。它有助于实现高效、可扩展元数据访问以及容错。2.提出了一种支持高可用的数据放置算法。它是一种确定性的伪随机算法,扩展了标准的球入容器模型,使用单位区间的分割伪随机地分布数据到多个存储设备上。在保证数据公平和自适应分布的前提下支持同一数据对象的不同冗余数据分布在不同的存储设备中。3.提出了一种快速恢复机制。它通过并行化在失败设备上的数据重建工作加快了系统失败修复时间。并构建了一个平均直到数据丢失模型对不同冗余机制下的系统可靠度进行评估。4.提出了一个支持失败-恢复模型,无缝错误忍受和可以在异步系统中实现的多副本一致性协议。并对协议保持的访问线性化进行了形式化证明。5.提出了一种保证并发交迭I/O操作原子性的有效实现方法。该方法对传统的文件锁进行了演化并融合了令牌传递机制。
论文目录:
摘要
目录
图目录
表目录
1 第一章 引言
1.1 机群计算的发展及对存储的需求
1.2 当前用于机群计算的存储系统
1.2.1 disk-per-node
1.2.2 使用一组指定的I/O 节点
1.2.3 使用SAN 构筑机群存储系统
1.3 小结
1.4 课题背景和意义
1.5 本文的贡献和内容组织
2 第二章 基于共享对象存储设备的并行文件系统
2.1 基于对象的存储架构
2.2 相关研究
2.3 基于共享对象存储设备的并行文件系统（SOPFS）
2.3.1 可扩展性
2.3.2 高性能并发访问
2.3.3 高可靠数据存储
2.3.4 数据一致性
2.4 小结
3 第三章 分布式元数据管理
3.1 工作负载
3.2 相关研究
3.3 动态散列分区法
3.3.1 元数据到MDS 的映射
3.3.2 元数据有效查找
3.3.3 逻辑分区动态分裂、合并
3.3.4 元数据的存储管理
3.4 动态负载平衡
3.5 失败接管
3.6 元数据服务器机群的可扩展性设计
3.7 小结
4 第四章 对象放置算法
4.1 相关研究
4.2 SIEVE
4.3 R-SIEVE
4.3.1 问题建模
4.3.2 算法描述
4.4 算法分析
4.4.1 对象放置分析
4.4.2 公平性分析
4.4.3 自适应性分析
4.4.4 有效性分析
4.5 实验结果及分析
4.5.1 数据对象的分布
4.5.2 同一冗余对象组中的数据对象分布
4.5.3 性能分析
4.5.4 自适应性分析
4.6 小结
5 第五章主动快速恢复机制和可靠性分析
5.1 相关研究
5.2 失败检测
5.3 主动快速恢复机制
5.4 可靠性分析
5.5 小结
6 第六章复制系统中的数据一致性
6.1 通用的一致性控制协议
6.2 系统建模
6.3 一致性协议算法
6.4 线性化证明
6.5 减少版本号管理的开销
6.6 对其它非复制冗余机制的支持
6.7 相关研究
6.8 小结
7 第七章原子并发交迭I/O 的可扩展实现
7.1 SOPFS 文件读/写请求处理
7.2 POSIX 原子语义和并发交迭I/O
7.3 SOPFS 中的原子语义保证
7.4 执行策略
7.4.1 文件锁
7.4.2 令牌传递
7.4.3 版本控制
7.4.4 演化的文件锁＋令牌传递机制
7.5 小结
第八章 结论
8.1 本文工作的总结
8.2 后续工作
参考文献
致谢
作者简介
发布时间: 2006-12-27
参考文献
- [1].并行文件系统元数据管理研究[D]. 王立新.国防科学技术大学2017
- [2].海量文件系统元数据查询方法与技术[D]. 刘立坤.清华大学2011
- [3].基于SAN的安全单映像Cluster文件系统关键技术的研究[D]. 徐虎.国防科学技术大学2003
- [4].大规模机群文件系统的关键技术研究[D]. 熊劲.中国科学院研究生院（计算技术研究所）2006
- [5].可扩展I/O的研究和参考实现[D]. 孙凝晖.中国科学院研究生院（计算技术研究所）1999
- [6].文件系统语义分析技术研究[D]. 夏鹏.华中科技大学2011
- [7].基于对象的并行文件系统接口语义扩展研究[D]. 涂旭东.华中科技大学2011
- [8].基于上下文的个人信息管理研究[D]. 吕宁.华中科技大学2012
- [9].Android平台隐私保护方法研究[D]. 洪双喜.北京邮电大学2017
相关论文
- [1].基于对象存储结构的可伸缩集群存储系统研究[D]. 刘仲.国防科学技术大学2005
- [2].大规模机群文件系统的关键技术研究[D]. 熊劲.中国科学院研究生院（计算技术研究所）2006
- [3].基于以太网的存储系统研究[D]. 胡风华.中国科学院研究生院（计算技术研究所）2005
- [4].可扩展的单一映象文件系统[D]. 王建勇.中国科学院研究生院（计算技术研究所）1999
- [5].机群文件系统服务器关键技术研究[D]. 吴思宁.中国科学院研究生院（计算技术研究所）2004
- [6].分布式文件系统高可用问题研究[D]. 史小冬.中国科学院研究生院（计算技术研究所）2002
- [7].蓝鲸分布式文件系统的资源管理[D]. 黄华.中国科学院研究生院（计算技术研究所）2005
- [8].机群文件系统性能与正确性研究[D]. 贺劲.中国科学院研究生院（计算技术研究所）2002
- [9].支持软件分布式共享存储系统的机群通信技术[D]. 史岗.中国科学院研究生院（计算技术研究所）2004
- [10].分布式文件系统可扩展元数据服务关键问题研究[D]. 杨德志.中国科学院研究生院（计算技术研究所）2008
标签：并行文件系统论文; 分布式元数据管理论文; 数据放置论文; 多副本一致性论文; 原子论文;