基于CastorFS和Xrootd的用户空间文件系统的设计与实现

论文摘要

在欧洲核物理研究委员会（CERN），科学家们用大型强子对撞（LHC）实验使用海量存储系统来对数以千T字节的实验数据进行存储和管理。这个系统就是CASTOR（CERN高级存储管理系统）。它为进行科学实验提供了强大和便捷的数据支撑。然而，用户在使用这个数据管理系统的时候只能用其提供的具体命令行去访问和操作其中的数据。这样一个基于FUSE（用户空间文件系统）和两个CASTOR输入输出库（NS库和Rfio库）的文件系统CastorFS被开发出用于进一步简化CASTOR系统的使用。尽管此文件系统已经成功被部署在LHCb的节点上，然后它有很大的缺陷极大地限制了其应用范围。当用户想要获取某个存储大量数据的文件夹时，它使用的两个库极大地增加了CASTOR服务器端的负载，而且它们也不提供任何数据保护的机制。除此而外，缓慢的数据传输速度也极大地限制了文件系统的应用。这样，我们需要开发一个缓存来有效地对短时期要用的大量数据进行存储并使用新的数据传输协议Xrootd来重新构建CastorFS以降低CASTOR服务器端的负载，提供更快的数据传输服务，提供安全的数据访问机制。新的系统实现LRU（Least recently used）算法作为实现缓存管理的机制，运用FUSE提供的实现虚拟文件系统的接口以及Xrootd所提供的符合POSIX标准的功能函数来提供一个有效降低服务器端负载，传输速度更加稳定可靠，带有安全认证功能的用户空间文件系统，当前系统以及在LHCb的节点上经过测试并已经被成功部署以服务于科学计算。

论文目录

• 摘要
• Abstract
• CHAPTER 1 INTRODUCTION
• 1.1 BACKGROUND
• 1.2 CASTOR, FUSE, CASTORFS AND XROOTD
• 1.2.1 CASTOR
• 1.2.2 FUSE
• 1.2.3 CastorFS
• 1.2.4 Xrootd
• 1.3 THE PURPOSE OF PROJECT
• 1.4 THE STATUS OF RELATED APPLICATION
• 1.4.1 Application No.I
• 1.4.2 Application No. II
• 1.5 MAIN CONTENT AND ORGANIZATION OF THE THESIS
• CHAPTER 2 SYSTEM REQUIREMENT ANALYSIS
• 2.1 THE GOAL OF THE SYSTEM
• 2.2 THE FUNCTIONAL REQUIREMENTS
• 2.2.1 The requirement of implementing caching
• 2.2.2 The requirement of applying Xrootd in the system
• 2.2.3 The requirement of porting the system to Mac and Windows
• 2.3 THE UN-FUNCTIONAL REQUIREMENTS
• 2.4 SUMMARY
• CHAPTER 3 SYSTEM DESIGN
• 3.1 THE OVERALL DESIGN OF THE SYSTEM
• 3.2 THE DESIGN OF THE WRAPPER
• 3.3 THE DESIGN OF THE CACHING
• 3.4 THE DESIGN OF THE FILESYSTEM USING XROOTD
• 3.5 KEY TECHNIQUES
• 3.5.1 The application of FUSE
• 3.5.2 The application of Xrootd
• 3.5.3 The application of C++ standard library
• 3.5.4 The application of LRU algorithm for caching
• 3.5.5 The mechanism of authentication in CERN and Xrootd
• 3.5.6 The application of CMake and RPMBuild tools
• 3.6 BRIEF SUMMARY
• CHAPTER 4 SYSTEM IMPLEMENTATION AND TESTING
• 4.1 THE ENVIRONMENT OF SYSTEM DEVELOPMENT
• 4.1.1 Hardware environment
• 4.1.2 Software environment
• 4.1.3 The implementation of wrapper
• 4.1.4 The implementation of caching
• 4.1.5 The implementation of new CastorFS with Xrootd
• 4.2 KEY INTERFACES OF THE SOFTWARE SYSTEM
• 4.3 SYSTEM TESTING AND PERFORMANCE EVALUATION
• 4.3.1 System Testing
• 4.3.2 Performance evaluation
• 4.4 BRIEF SUMMARY
• CONCLUSION
• REFERENCES
• ACKNOWLEDGEMENT
• RESUME