论文题目: 基于日志的机群文件系统高可用关键技术研究
论文类型: 硕士论文
论文专业: 计算机系统结构
作者: 李晖
导师: 马捷
关键词: 机群文件系统,高可用,日志技术,一致性
文献来源: 中国科学院研究生院（计算技术研究所）
发表年度: 2005
论文摘要: 近年来机群系统以其低成本、高性能而逐渐成为高性能计算的主流平台。作为解决机群系统外存储瓶颈上的有效手段的机群文件系统因此得到了很大的发展。一个机群文件系统必须要满足机群计算环境的需要,为应用提供高性能、可扩展、高可用的文件服务。由于机群文件系统本身结构复杂,实现复杂而且整个系统规模很大,这些因素就决定了对高可用技术的依赖。本文将研究基于日志的机群文件系统高可用的关键问题以及解决策略,同时给出了一些评价方法以及具体的评测结果。具体内容以及研究成果如下:(1)研究了基于日志的机群文件系统高可用技术的关键问题。本文分析了不同类型的机群文件系统的高可用需求以及高可用技术,对机群文件系统高可用相关的概念进行了介绍,描述了机群文件系统高可用领域的研究内容,并在分析的基础上提出了基于日志的机群文件系统高可用技术,分析了其中的关键问题,给出了相应的解决策略,并对其正确性和完备性给予了证明。(2)实现了DCFS2机群文件系统高可用模块。作为文中策略的一个实际应用,本文给出了DCFS2机群文件系统高可用的设计与实现技术,给出了系统中利用日志来保证机群文件系统一致性的方法。主要内容包括:以DCFS2机群文件系统为原型系统,研究了单一以及多个元数据服务器下如何使用日志来保证文件系统的一致性;研究了机群文件系统日志对元数据操作的性能影响;研究了客户端的高可用问题。(3)提出了机群文件系统高可用性的分级的定义。机群文件系统的高可用性的高低一直缺乏有效的定性或定量的分析方法,由于软件系统不能象硬件系统那样进行定量分析,我们根据机群文件系统的应用模式,将影响机群文件系统高可用性的因素进行分析,以机群文件系统的故障因素和恢复目标因素为线索,采用分级的方法对机群文件系统高可用性进行了定义,提出了机群文件系统高可用性的分级的定义。(4)对基于日志的高可用技术进行了评价。目前在高可用技术的评价上尚没有完善的评价体系,本文从功能性,正确性,性能,恢复时间等多个方面对基于日志的高可用技术进行了评价,并给出了各种情况下的具体的测试结果。文中还讨论了下一步的研究方向,包括多节点故障恢复等方面。
论文目录:
第一章 引言
1.1 研究动机
1.2 机群文件系统高可用领域的研究内容
1.3 相关的研究
1.3.1 xFS文件系统
1.3.2 GFS文件系统
1.3.3 GPFS文件系统
1.3.4 Lustre文件系统
1.3.5 小结
1.4 本文工作
第二章 机群文件系统高可用关键技术
2.1 机群文件系统概述
2.1.1 结构
2.1.2 缓存技术
2.1.3 语义研究
2.1.4 服务协议
2.1.5 机群文件系统的实现方法
2.2 高可用相关概念
2.2.1 元数据一致性
2.2.2 数据一致性
2.2.3 文件系统一致性
2.2.4 服务的可用性
2.3 高可用问题分析
2.3.1 失效侦测问题
2.3.2 故障处理及恢复问题
2.3.3 高可用评价问题
2.4 小结
第三章 基于日志的高可用的关键问题
3.1 基于日志的高可用的问题描述
3.1.1 日志提出的原因
3.1.2 日志的概念
3.1.3 日志不同的方法
3.1.4 机群文件系统结构对日志的影响
3.2 基于日志的高可用的关键问题
3.2.1 日志记录的内容问题
3.2.2 日志情况下缓存的问题
3.2.3 日志记录的空间与时间问题
3.2.4 日志恢复的问题
3.2.5 日志记录与恢复的正确性问题
3.2.6 日志恢复的性能问题
3.3 基于日志的高可用的解决策略
3.3.1 日志记录的内容问题的解决策略
3.3.2 日志情况下缓存问题的解决策略
3.3.3 日志的时间与空间的问题的解决策略
3.3.4 日志恢复问题的解决策略
3.4 小结
第四章 DCFS2 机群文件系统
4.1 DCFS2 简介
4.2 DCFS2 的结构
4.3 元数据服务器高可用问题
4.3.1 元数据处理协议
4.3.2 元数据服务器高可用关键问题
4.3.3 解决策略
4.3.4 故障恢复协议
4.4 客户端高可用问题
4.4.1 客户端高可用关键问题
4.4.2 解决策略
4.4.3 恢复协议
4.5 小结
第五章 评价指标与相关评测
5.1 评价指标
5.2 测试平台及测试工具
5.3 正确性评价
5.3.1 元数据服务器故障
5.3.2 客户端故障
5.4 性能评测
5.4.1 客户端日志的性能评测
5.4.2 元数据日志性能评测
5.4.3 综合性能评测
5.5 恢复时间评测
5.5.1 分布式日志与本地日志的恢复时间评测
5.5.2 恢复时间与空间评测
5.6 小结
第六章 结论和未来的工作
6.1 结论
6.2 未来的工作
参考文献
致谢
作者简历
发布时间: 2006-12-26
参考文献
- [1].机群文件系统性能优化中的关键问题研究[D]. 冯军.中国科学院研究生院（计算技术研究所）2001
- [2].一种日志式闪存文件系统的分析与改进[D]. 刘庆华.华中科技大学2004
- [3].分布式并行文件系统的日志管理[D]. 吴华.电子科技大学2004
- [4].日志结构文件系统在嵌入式系统上的应用[D]. 苏华龙.上海交通大学2007
- [5].基于集群文件系统的元数据容错研究[D]. 秦航.华中科技大学2004
- [6].复印机内容分析系统的研究与实现[D]. 胡思琦.北京邮电大学2018
- [7].目录文件系统的日志与事务的设计与实现[D]. 平伟.电子科技大学2016
- [8].注册表文件系统的设计与实现[D]. 毕宇.电子科技大学2014
- [9].并行文件系统健壮性测试的研究与应用[D]. 刘英平.昆明理工大学2014
- [10].某咨询公司文件系统的设计与实现[D]. 刘智.电子科技大学2013
相关论文
- [1].高可用多节点集群技术的研究与实现[D]. 汪筱红.上海交通大学2006
- [2].机群操作系统高可用服务研究[D]. 王磊.中国科学院研究生院（计算技术研究所）2006
- [3].机群文件系统性能优化中的关键问题研究[D]. 冯军.中国科学院研究生院（计算技术研究所）2001
- [4].共享对象存储并行文件系统的元数据管理研究[D]. 孙丽丽.中国科学院研究生院（计算技术研究所）2005
- [5].分布式文件系统中的负载平衡技术研究[D]. 田颖.中国科学院研究生院（计算技术研究所）2003
- [6].Linux下快照文件系统的设计与实现[D]. 谢全朝.大连理工大学2006
- [7].日志结构文件系统在嵌入式系统上的应用[D]. 苏华龙.上海交通大学2007
- [8].SAN环境下高性能集群文件系统研究与实现[D]. 黄九鸣.国防科学技术大学2006
- [9].日志文件系统在嵌入式存储设备上的设计和实现[D]. 郑良辰.中国科学院软件研究所2001
- [10].基于Linux下的高可用集群系统[D]. 刘彦锋.吉林大学2004