云存储系统高效数据传输机制的研究

云存储系统高效数据传输机制的研究

论文摘要

为了适应数据迅速增长的趋势和用户随处存取的需求,越来越多的企业开始部署云存储系统。网络服务存储系统将网络中大量存在的开放存储服务聚合起来,提供了较为可观的空间和带宽总量,并具有强服务能力、高透明性、高可扩展性等特点。但是在网络服务存储系统中,有限的边缘存储服务运营商与庞大的用户存储数据量之间相互牵制。当某种存储服务同一时刻接受大量任务请求时,极有可能导致用户数据丢失,从而降低了系统可用性。高效数据传输机制有效解决了上述问题。该机制根据网络服务存储系统中文件特点,改进了Kademlia算法,在用户节点组建底层的peer-to-peer(P2P)网络结构,实现了用户节点之间数据共享。通过分析了系统用户在线时间和行为特征,提出并实现了超级节点选择算法。同时根据系统中文件备份数和数据下载成功率,结合超级节点信息,实现了基于协同传输节点群的高效备份策略。高效数据传输机制设计了一套完善的数据传输算法,针对用户不同的操作如上传,下载和协同传输而实现了不同的透明传输策略。最后该机制为系统引进了缓存服务器,它保存了一份完整的冗余文件,并承担系统复制策略的主要数据分发工作。系统测试日志表明,高效数据传输机制引入系统后,将上传文件时间缩短了约1/3,下载文件时间缩短了约1/2。同时,在系统文件备份数目达到一定阈值后,用户从邮箱服务器下载文件的成功率也提高到95%以上,基本接近邮箱存储的理想状态。基于改进后的系统被动复制策略,可以看出协同群组传输数据的成功率明显提高,达到了97%以上。

论文目录

  • 摘要
  • Abstract
  • 1 绪论
  • 1.1 问题提出
  • 1.2 国内外研究现状
  • 1.3 课题背景与研究内容
  • 1.4 文章框架结构
  • 2 高效数据传输机制的设计
  • 2.1 设计思想
  • 2.2 体系结构
  • 2.3 模块结构
  • 2.4 处理流程
  • 2.5 小结
  • 3 用户节点动态管理
  • 3.1 超级节点选择策略
  • 3.2 协同备份节点选择策略
  • 3.3 用户节点信息统计与收集
  • 3.4 用户节点组织与管理实现
  • 3.5 小结
  • 4 数据传输控制管理
  • 4.1 数据流传输策略
  • 4.2 数据传输实现方式
  • 4.3 数据传输任务调度
  • 4.4 本章小结
  • 5 系统测试与分析
  • 5.1 测试环境
  • 5.2 功能测试
  • 5.3 性能测试与结果分析
  • 5.4 本章小结
  • 6 总结与展望
  • 致谢
  • 参考文献
  • 相关论文文献

    • [1].基于集中式架构的高速率大容量测量存储系统设计[J]. 电子技术与软件工程 2020(07)
    • [2].试议存储系统安全[J]. 电脑编程技巧与维护 2020(06)
    • [3].大数据环境下的存储系统构建:挑战、方法和趋势[J]. 大数据 2019(04)
    • [4].密集存储系统及其市场需求分析[J]. 物流技术与应用 2018(09)
    • [5].数据中心存储系统故障了怎么办[J]. 计算机与网络 2018(21)
    • [6].网络编码云存储系统差分数据更新方案[J]. 通信学报 2017(03)
    • [7].基于磁盘和固态硬盘的混合存储系统研究综述[J]. 计算机应用 2017(05)
    • [8].公有云存储系统性能评测方法研究[J]. 计算机应用 2017(05)
    • [9].安全云存储系统综述[J]. 科技视界 2017(05)
    • [10].移动云存储系统的关键问题与技术方案[J]. 福建电脑 2017(08)
    • [11].一种云存储系统分层性能监测和采集方法[J]. 西北工业大学学报 2016(03)
    • [12].基于开放云存储协议的云存储系统性能评测方法研究[J]. 电子设计工程 2016(19)
    • [13].一种云存储系统安全扩展框架设计[J]. 黑龙江科技信息 2014(31)
    • [14].云存储系统的分析与应用[J]. 信息技术与信息化 2014(07)
    • [15].云存储系统性能评测技术研究[J]. 计算机研究与发展 2014(S1)
    • [16].网络化存储系统在大数据时代应用与探讨[J]. 网络安全技术与应用 2015(05)
    • [17].分布式的电力云存储系统的优势分析和可行性研究[J]. 通讯世界 2015(12)
    • [18].医院PACS云存储系统建设途径[J]. 数码世界 2020(01)
    • [19].企业级蓝光归档存储系统[J]. 湖北画报(上旬) 2017(03)
    • [20].高端存储系统专题(之一) 高端存储系统发展展望[J]. 科技浪潮 2014(01)
    • [21].能源存储系统的类型和特点[J]. 信息技术与标准化 2013(09)
    • [22].虚拟化环境下存储系统的改进方法探索[J]. 成都航空职业技术学院学报 2013(04)
    • [23].云存储系统的分析与应用研究[J]. 计算机光盘软件与应用 2013(24)
    • [24].云存储系统的分析与应用探讨[J]. 数字技术与应用 2013(10)
    • [25].基于融合存储系统的数据容灾[J]. 现代计算机(专业版) 2013(34)
    • [26].融媒体云中心存储系统设计[J]. 广播电视信息 2020(05)
    • [27].子母穿梭车密集存储系统货位分配研究[J]. 制造业自动化 2020(06)
    • [28].面向大数据异构系统的神威并行存储系统[J]. 大数据 2020(04)
    • [29].密集存储技术及其应用[J]. 物流技术与应用 2018(09)
    • [30].基于块的分级存储系统多样性机制设计与研究[J]. 计算机工程 2016(12)

    标签:;  ;  ;  ;  ;  

    云存储系统高效数据传输机制的研究
    下载Doc文档

    猜你喜欢