在线重复数据删除技术的研究与实现

论文摘要

随着信息化建设的不断深入,企业数据信息量呈几何级数增长。信息量的不断扩张带来以下两个问题:一是存在着大量的重复数据,导致存储空间的大量浪费,企业的存储成本提高;二是高访问量使得磁盘存储设备逐渐成为数据中心的访问性能瓶。针对上述问题,通过对重复数据删除技术的研究,以及对固态硬盘性能和特性的调研,提出了一种基于iSCSI平台的分级存储技术与重复数据删除技术相结合的存储系统。首先,深入研究了重复数据删除技术,采用了基于散列的重复数据删除方式,实现了以下基本功能:指纹计算、指纹检索、指纹索引表管理;为了弥补重复数据删除对系统带来的性能损失,提出了“内存—固态盘—磁盘”分级存储系统,用固态盘充当二级缓存,利用其读写性能好、容量大、非易失性等特点,提高系统整体性能;通过虚拟空间映射功能,将服务器物理磁盘虚拟为一个较大的虚拟盘,然后按分区映射给多个客户端,实现单服务器---多客户端功能。然后针对重复数据删除功能中指纹检索性能瓶颈,进行了专门的算法优化。首先提出了基于布隆过滤的检索过滤算法,过滤掉大量不必要的指纹检索请求;然后实现了指纹索引表“内存—固态盘”分级存储策略,充分利用固态盘较好的读性能,避免索引表存储到磁盘,产生磁盘访问性能瓶颈。最后,对分级重复数据删除系统进行了相关测试。首先对系统进行了性能对比测试,结果表明,重复数据删除功能由于计算量较大,会带来一定的性能损失,但与分级存储技术相结合之后,整体性能反而有一定的提升;然后对重复数据删除的压缩比进行了测试,结果表明,重复数据删除技术对于信息重复度较高的应用环境,如文档应用,具有较好的压缩效果;最后对指纹检索过滤算法进行了测试,其过滤率和误判率都达到了预期效果。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 课题背景
• 1.2 重复数据删除技术的发展现状
• 1.3 分级存储技术的发展现状
• 1.4 研究目的与主要内容
• 1.5 课题来源
• 2 系统介绍与关键技术
• 2.1 iSCSI 平台介绍
• 2.2 系统拓扑结构
• 2.3 重复数据删除技术
• 2.4 分级存储技术
• 2.5 本章小结
• 3 系统的设计与实现
• 3.1 系统总体设计
• 3.2 虚拟空间映射模块设计与实现
• 3.3 重复数据删除模块设计与实现
• 3.4 分级存储模块设计
• 3.5 运行时动态分析
• 3.6 本章小结
• 4 重复数据删除检索性能优化
• 4.1 重复数据删除检索性能瓶颈
• 4.2 基于bloom filter 算法的检索过滤技术
• 4.3 索引表”内存-SSD”分级存储
• 4.4 本章小结
• 5 系统测试与分析
• 5.1 测试平台介绍
• 5.2 系统性能测试与比较
• 5.3 重复数据删除压缩比测试
• 5.4 检索过滤算法效果测试
• 5.5 小结
• 6 总结与展望
• 6.1 全文总结
• 6.2 研究展望
• 致谢
• 参考文献