一种可配置的广域网文件系统的设计与实现

论文摘要

广域网下充斥着大量复杂的数据和大量复杂的用户访问行为。传统的网络文件系统一般采用中心化的文件系统服务器,可扩展性差,导致局部出现性能瓶颈。另一方面,广域网中存在大量的数据孤岛,传统的网络文件系统缺乏灵活的资源共享机制,无法适应广域网下用户对共享资源信息的需求。UStorFS是一种新的广域网网络文件系统,结合了传统文件系统和p2p存储系统的优势。在设计上它借用了MVC设计模式的思路,将文件系统的视图和数据分离。在实现上它采用用户态文件系统的架构,在核心态中使用文件系统驱动代理,接收所有对文件系统的I/O请求并且转发给用户态的守护进程处理,采用了一种称为inverted_call的双缓冲队列来实现核用户态之间的通信。同时将文件系统的文件目录结构信息等元数据从核态分离出来,用XML文件来描述和存储,并且在用户态下实现了一个元数据镜像,优化了元数据请求的处理。为了实现广域网范围的文件访问,UStorFS扩展了文件的名字属性,建立了一个广域网范围下全局统一的物理名字空间。将文件进行从逻辑文件名到物理文件名的映射,存储到广域网中的不同节点中去。通过元数据信息的交换来实现文件的共享。还可以通过控制器模块来配置和扩展系统的功能和特性。UStorFS实现了一个网络文件系统的基本功能,包括文件目录的创建、拷贝、删除、浏览等操作,并且可以支持其他应用程序的I/O请求,支持网络文件共享。经过测试表明,系统对分布在网络上的元数据的操作能提高性能30%以上。可以预见在较大规模的广域网环境中也会有良好的效果。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 广域网存储需求
• 1.2 网络文件系统现状及发展趋势
• 1.3 p2p 存储系统
• 1.4 用户态文件系统
• 1.5 现有文件系统的分析
• 1.6 本文的内容与组织
• 2 UStorFS 系统设计
• 2.1 系统设计模式
• 2.2 系统体系结构
• 2.3 Windows 文件系统结构及关键技术
• 2.4 本章小结
• 3 用户态文件系统驱动模型
• 3.1 用户态文件系统驱动框架
• 3.2 核态用户态间的通信
• 3.3 I/O 重定向
• 3.4 本章小结
• 4 元数据管理
• 4.1 元数据镜像
• 4.2 名字空间管理
• 4.3 本章小结
• 5 实现p2p 文件系统
• 5.1 JXTA 介绍
• 5.2 资源共享
• 5.3 副本策略
• 5.4 本章小结
• 6 测试分析
• 6.1 测试环境
• 6.2 功能测试
• 6.3 性能测试
• 6.4 本章小结
• 7 结束语及未来工作
• 致谢
• 参考文献