重复数据删除技术的研究与实现

论文摘要

随着信息数字化的快速发展与生产力的突飞猛进,当今企业对信息的存储需求也在飞速增长。尽管存储设备的销售价格在不断地下降,但远远赶不上企业内部产生和需要保存数据的攀升速度。重复数据删除技术能够删除重复的数据,实现数据的唯一实例存储,将有望解决该问题。该技术一般应用在备份、归档等集中式数据存储的系统中,能有效地节省存储空间和网络的传输带宽。目前,对文件或数据流中重复数据的查找效率始终是重复数据删除技术应用的瓶颈,为此重点对提高重复数据的查找效率进行了研究,并将重复数据删除技术融合到数据备份领域实现了高效的、稳定的数据容灾备份系统,它可以为数据提供安全的存储服务。该系统运用了多项技术来提高数据的备份和恢复性能:元数据的多级查询机制、数据缓存机制和多线程技术。元数据的多级查询机制通过使用全局Bloom Filter、二级索引缓存和磁盘哈希表来提高对重复数据的查找速度;数据缓存机制则通过对数据块的内存缓冲,可以避免对磁盘频繁的I/O操作;多线程技术可以提高系统的并发处理能力,从而在整体上提升系统的性能。测试表明,提出的重复数据删除技术能有效地提高备份和恢复性能,同时,能极大的减少冗余数据的存储,节省存储空间,提高备份容灾系统的存储效率。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 课题背景和意义
• 1.2 重复数据删除技术
• 1.3 国内外研究现状
• 1.4 本文的主要研究内容
• 1.5 论文的组织结构
• 2 重复数据删除关键技术的研究
• 2.1 变长分块算法的研究与改进
• 2.2 元数据的多级查询机制设计
• 2.3 数据的存储和管理
• 2.4 数据块缓存机制
• 2.5 文件的恢复索引和日志技术
• 2.6 本章小结
• 3 重复数据删除技术在备份软件中的实现
• 3.1 系统的设计
• 3.2 系统的实现
• 3.3 系统的流程
• 3.4 本章小结
• 4 测试与分析
• 4.1 不同类型的文件去重率测试
• 4.2 性能测试
• 4.3 本章小结
• 5 结束语
• 5.1 工作总结
• 5.2 工作展望
• 致谢
• 参考文献