寄生存储系统设计与性能分析

论文摘要

近年来因特网在全球范围内飞速发展,其上遍布着大量的通讯和计算资源,从而产生一个科学问题:可否利用因特网复杂环境下的闲散资源(含计算资源与通讯资源,特别是通讯资源)进行动态数据存储?因特网在数据包收发过程中具有短暂的数据存储能力。由于网络上数据包的传输时间非零,这样便导致数据包在传输的过程中能够保持一定的在线时间,从而形成事实上的数据存储。这种数据存储行为可自然地用于构建一种极其独特的网络存储新模式—寄生存储。按照这种思想,可基于因特网现有的标准协议,如ICMP、SMTP等构建一种全新的网络存储模型。该模型利用网络标准协议的通讯机制,在网络通讯过程中充分挖掘网络通讯资源潜在的数据存储能力。通过分析协议自身特点,探索适用于寄生存储的网络协议及各协议所适用的存储环境。基于ICMP协议构建寄生存储模型,给出模型的详细设计,并深入分析该模型下的存储容量、I/O速度、生命周期等相关性能。理论分析表明,寄生存储的存储容量主要受通讯链路延时以及宿主数量的影响; I/O速度主要受网络带宽的影响;文件的生命周期依赖于文件的冗余数量和网络丢包率。测试结果表明:这种存储方法适用于在广域网上进行免费、大容量及短期的数据存储;远程寄生宿主并无意识到用户的数据存储行为;不同于计算机病毒,该存储行为对寄生宿主无害;对网络性能的影响可以忽略不计。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 课题背景
• 1.1.1 直接连接存储
• 1.1.2 存储局域网
• 1.1.3 附网存储
• 1.1.4 对象存储
• 1.1.5 P2P 存储
• 1.1.6 寄生存储
• 1.2 国内外发展概况
• 1.3 课题研究目的与意义
• 1.4 本文组织结构
• 2 寄生存储的基本原理
• 2.1 寄生存储的提出
• 2.2 寄生存储的基本原理
• 2.3 寄生存储的实现难点
• 2.3.1 数据生命周期和读速度之间的平衡
• 2.3.2 数据可靠性和保密性之间的平衡
• 2.3.3 存储容量和对网络影响之间的平衡
• 2.4 本章小结
• 3 寄生存储系统设计
• 3.1 寄生存储工作流程
• 3.1.1 准备数据
• 3.1.2 选择宿主
• 3.1.3 存储数据
• 3.2 寄生存储系统设计
• 3.2.1 地址空间
• 3.2.2 文件组织
• 3.2.3 文件容错机制
• 3.2.4 并行传输机制
• 3.3 典型文件操作
• 3.3.1 加入文件
• 3.3.2 读取文件
• 3.3.3 移除和删除文件
• 3.4 本章小结
• 4 寄生存储文件组织
• 4.1 冗余设置策略
• 4.1.1 基于纠删码的数据冗余分布实现模型
• 4.1.2 数据恢复
• 4.1.3 基于出错率的自适应动态副本管理机制EFSRM
• 4.2 数据分发策略
• 4.3 错误检测策略
• 4.4 数据的维护
• 4.5 数据包发送速率的控制
• 4.6 本章小结
• 5 寄生存储性能分析
• 5.1 寄生存储的性能分析
• 5.1.1 存储容量
• 5.1.2 I/O 速度
• 5.1.3 文件的存储时间
• 5.2 网络测试及寄生存储模型性能评价
• 5.3 网络协议的比较
• 5.3.1 A 类协议
• 5.3.2 B 类协议
• 5.4 因特网的存储容量估算
• 5.5 本章小结
• 6 总结与展望
• 6.1 本文总结
• 6.2 工作展望
• 致谢
• 参考文献