面向海量邮件存储的分布式文件系统研究

论文摘要

随着互联网技术的迅猛发展和网络用户相互交流的迫切需要,电子邮件日益成为人们办公和沟通的重要途径,它的数据规模也呈飞速膨胀的趋势。传统的文件系统很难满足海量数据存储和读取的性能要求,而现有的分布式文件系统并没有对海量邮件存储提供很好的支持,本文正是在这种前提下,对面向海量邮件存储的分布式文件系统进行了研究。分布式文件系统主要是利用网络将多台机器构成一个虚拟的文件系统。本文主要研究并实现了一个面向海量邮件存储的分布式文件系统,它除具有很强的容错性、可用性和可扩展性之外,还必须具有很高的I/O性能。针对邮件来源的特殊性,系统必须支持多种数据源的直接写入。为此,本文重点研究了如下问题并依此实现了本系统:首先,本文根据项目对文件系统的的需求,在合理分析了已有的分布式架构的基础上,设计出本分布式文件系统的架构。根据架构,设计并实现了系统的各个组成部分。其次,在开始设计分布式文件系统的内部写入和读出算法时,引入读写锁和租约。在读出和写入数据的过程中,研究系统的不同组成部分的多策略的负载平衡。把块副本冗余作为系统核心的容错方式,设计出系统中的每个组成部分的容错方案。再次,针对邮件来源的不同,有一般的数据源FTP,HTTP,FILE,也有专门的邮件源SMTP,IMAP和POP3,研究多数据源的公共接口并实现了公共接口的分布式文件系统写入。为了增强系统的I/O性能和数据完整性,在存储的文件格式中加入压缩和同步信息。最后,对分布式文件系统进行I/O性能测试。在机器数量有限的情况下,为了使现有系统的I/O性能的测试结果,在更大规模的机群上也成立,提出了速度稳定性测试。写入速度的测试结果高于20MB/s,而读出速度测试则约为40MB/s,这个测试结果也证明了此系统具有很高的I/O性能。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题背景及意义
• 1.2 国内外研究现状
• 1.3 课题来源和主要研究内容
• 第2章 面向海量数据存储的分布式文件系统的架构设计
• 2.1 项目需求分析
• 2.2 设计分布式系统体系结构
• 2.2.1 系统服务器模式的选择
• 2.2.2 数据访问方式的选择
• 2.2.3 文件与系统服务器的映射方式选择
• 2.2.4 有状态和无状态的文件系统
• 2.3 系统设计要点
• 2.4 系统架构设计
• 2.4.1 本分布式文件系统的架构
• 2.4.2 文件块的设计
• 2.4.3 主服务器的功能设计
• 2.4.4 数据服务器的功能设计
• 2.4.5 客户端的功能设计
• 2.4.6 元数据（metadata）设计
• 2.5 小结
• 第3章 分布式文件系统的内部读写算法设计
• 3.1 目录锁和元数据的一致性
• 3.1.1 目录锁管理
• 3.1.2 元数据的一致性保证
• 3.2 分布式文件系统的文件读出算法
• 3.3 分布式文件系统的文件写入算法
• 3.3.1 更改与租约（Lease）
• 3.3.2 写入算法说明
• 3.4 分布式文件系统的负载平衡
• 3.4.1 写入负载平衡
• 3.4.2 数据服务器的文件创建策略
• 3.4.3 客户端读出负载平衡
• 3.4.4 副本块重新生成的负载平衡
• 3.4.5 无用块回收的存储空间负载平衡
• 3.5 小结
• 第4章 分布式文件系统的容错性设计
• 4.1 系统恢复——操作日志和检查点
• 4.2 数据可靠性保障——块副本
• 4.2.1 块副本位置简单选择算法
• 4.2.2 本分布式文件系统的块副本位置选择算法
• 4.3 分布式文件系统的数据完整性支持
• 4.4 本系统在各种情形下的容错性
• 4.4.1 数据服务器不可用时的容错性设计
• 4.4.2 机架损坏时的容错性设计
• 4.4.3 主服务器不可用时的容错性设计
• 4.5 小结
• 第5章 针对不同邮件数据源的分布式文件系统写入支持
• 5.1 多协议的邮件写入支持
• 5.1.1 多协议的底层通信接口
• 5.1.2 多协议的功能实现接口
• 5.2 针对邮件的文件存储模式
• 5.3 针对邮件的文件格式
• 5.3.1 对存储模式的支持
• 5.3.2 文件压缩算法的比较选择
• 5.3.3 同步信息的引入
• 5.4 小结
• 第6章 分布式文件系统的I/O性能评测
• 6.1 测试环境的软硬件配置
• 6.2 提出速度稳定性测试
• 6.3 分布式文件系统写入速度测试
• 6.4 分布式文件系统读出速度测试
• 6.5 小结
• 结论
• 参考文献
• 致谢