导读:本文包含了多副本一致性论文开题报告文献综述及选题提纲参考文献,主要关键词:着色Petri网,分布式存储系统,过程挖掘,数据分区
多副本一致性论文文献综述
黄向东[1](2017)在《分布式存储系统数据分区与副本一致性形式化建模与优化》一文中研究指出随着大数据应用的普及,分布式存储系统在工业界被广泛开发和使用。这些分布式系统往往采用较复杂的数据分区、多副本等机制,并在系统性能等方面进行了权衡设计,用于保证集群的可用性和数据可靠性。因此在实际应用中,这些系统往往需要用户根据业务需求进行大量的性能优化工作。在不了解系统原理的前提下,用户往往难以解释系统的运转情况、分析问题原因、进而优化系统配置。而分布式存储系统复杂的系统实现则加大了用户对系统理解的难度。本文从分布式存储系统的运行日志入手,提出分布式存储系统的着色Petri网建模框架以及基于着色Petri网模型的系统优化方法。论文主要内容及贡献如下:·针对分布式系统日志事件关系复杂、现有日志挖掘算法得到模型可读性差、规模大、弹性差等问题,提出了基于系统运行日志的“日志挖掘-模型转换”两阶段建模框架。第一阶段提出了“本地-全局”日志挖掘方法,通过对系统日志按照节点进行逐个挖掘,简化了事件关系,并使得模型清晰可读;通过分析模型之间的关系,将多节点间的模型进行了组合,最终自动生成正确描述分布式存储系统的基本网模型,解决了模型从无到有的问题。第二阶段提出了通过折迭、对称化的操作将基本网模型转换为着色Petri网模型的方法,并在此过程中提出了模型与真实系统的适配问题,解决了模型从有到优的问题。·针对采用一致性哈希的分布式存储系统中数据分区不均衡的问题,提出了采用着色Petri网可达状态概率描述数据分区的方法,在此基础上提出用于评估数据分区优劣的不平衡系数,并通过最优化模型和动态规划算法分别解决了集群初始化时和集群扩展节点时的数据分区优化问题。·针对分布式存储系统中副本一致性优化问题,采用着色Petri网的轨迹分析和排队理论对副本一致性的产生原因进行分析、度量,并提出通过调整排队顺序、改变队列并行度、改变法团参数设置等改进数据为中心和用户为中心的副本一致性的方法。(本文来源于《清华大学》期刊2017-06-01)
王峰,李立新,曹景源,潘聪[2](2016)在《发布/订阅系统中的缓存副本一致性研究》一文中研究指出针对发布/订阅系统中缓存副本一致性维护问题,首先,对原有基于谣言的一致性维护算法进行改进,提出一种基于轨迹标签的谣言一致性维护算法。该算法通过在更新消息报文中添加节点轨迹信息,避免向已更新节点发送冗余更新消息。其次,为提高系统消息传播的可靠性,设计一种基于轨迹标签的层次化反馈恢复机制,结合发布/订阅系统推拉传输模式,减少反馈消息数目,避免反馈爆炸。模拟实验结果证明,改进的一致性维护算法降低了一致性维护消息开销和时间开销,提高了系统的可靠性和可扩展性。(本文来源于《计算机应用》期刊2016年06期)
刘鑫伟[3](2016)在《基于Ceph分布式存储系统副本一致性研究》一文中研究指出在当前云服务环境下,分布式存储系统作为底层的存储,由于它的大容量和高扩展性而备受关注。在分布式存储系统中,对于副本一致性问题,各个分布式存储系统使用了不同策略,既有使用强一致性的主从复制策略、链式策略、Paxos算法等,还有使用最终一致性的NWR策略。在当前多样化的云服务环境下,单一的副本策略并不能适应复杂的应用环境。Ceph的强一致性策略对系统的写操作要求很高,它的写操作要写所有的副本才算成功,否则写操作就失败,写操作具有较高的延时。为了让Ceph适应多样化的应用环境,设计了一种基于读写比例的动态副本一致性策略。使用定时器定时统计当前系统中的读写操作数,从而将系统分为了四种状态:读写疏松型,读密集型,写密集型和读写密集型。在不同的状态下使用不同的算法,根据读写的比例得到同步写的副本数,而其他的副本使用异步更新的方式,写操作的比例越高,写操作的延时越低。根据方案设计,对Ceph的副本策略进行修改,并对修改后的系统进行了测试。测试结果表明,对于写操作的处理,通过异步更新模块可以大大降低写操作延时,动态副本策略的写延时平均降低了30%左右,并随着写操作的比例的变化而变化,基本达到了预期的目标。(本文来源于《华中科技大学》期刊2016-05-01)
仇明杨,焦梦姗,和凡琪[4](2015)在《基于Chord的P2P网络副本一致性维护策略》一文中研究指出本文提出了一种在P2P网络环境中副本一致性维护的新算法。通过用主动更新代替被动更新,大大减少更新消息量,并且采取文件分块的方式,降低网络流量的消耗。仿真实验表明该算法简单有效。(本文来源于《Proceedings of 2015 2nd International Conference on Creative Education(ICCE 2015 V11)》期刊2015-06-27)
范立衡,任祖杰[5](2014)在《基于键值存储的元数据集群副本一致性研究》一文中研究指出设计一个高性能、高可靠性的分布式文件系统元数据集群,需要解决的一个很重要的问题便是副本一致性。传统的一致性维护方法大多用于保证副本间强一致性,但是强一致性容易对系统的读写性能造成较大影响。该文提出了一种基于键值存储引擎的元数据集群副本一致性管理策略,并从副本的放置、读写、恢复以及更新这4个方面展开详细阐述了具体的维护副本方法,最终实现灵活的、用户可配置的副本一致性约束。而且基于键值的存储方式能有效缓解负载均衡不足、数据可用性和查询性能欠缺的问题,满足元数据信息的高并发、高性能访问需求。(本文来源于《杭州电子科技大学学报》期刊2014年02期)
范立衡[6](2014)在《基于键值存储引擎的元数据管理集群副本一致性的研究》一文中研究指出在现代存储系统中,为了提高数据访问效率,大多采用将文件数据与其元数据分开存储的组织方式进行管理。然而设计一个高性能、高可靠性的分布式文件系统元数据集群,需要解决的一个很重要的问题便是副本一致性。传统的一致性维护方法普遍用于保证副本间强一致性,但是强一致性容易对系统的读写性能造成较大影响。同时针对关系型数据库存在的负载均衡不足、数据可用性和查询性能欠缺等问题,引入键值存储系统,有效地满足了元数据信息的高并发、高性能访问需求。为此,本文提出了一种基于键值存储引擎的元数据集群副本一致性管理策略,并从副本的放置、读写、恢复以及同步这四个方面展开详细阐述了具体的维护副本方法,最终实现灵活的、用户可配置的副本一致性约束。本文首先介绍通过一致性哈希映射的方法快速地在复杂的集群网络中定位到元数据;接着利用键值存储系统的特点,提出实现了灵活可靠的副本读写策略;再针对集群中可能出现的故障或节点变动问题,介绍副本的恢复处理机制,提高集群的健壮性、鲁棒性;然后具体描述了副本的更新传播方式与副本的同步检测,保证系统副本数据的最终一致性;最后通过读写测试验证集群高效的读写性能,并进行高并发访问的压力测试,检测系统在高负载的情况下仍能提供可靠的服务。(本文来源于《杭州电子科技大学》期刊2014-03-01)
张昌远[7](2013)在《基于蚁群的P2P网络副本一致性维护策略》一文中研究指出随着科技的不断进步,计算机网络正得到飞速的发展,传统的客户端/服务器模式已经无法适应网络高增长的需求。服务器面临大量的负载压力,经常出现拥堵、崩溃等问题。如何减轻服务器的负载压力,减少网络消耗就成了迫切需要解决的问题。而P2P作为一种新兴网络,由于具有良好的可扩展性和负载压力小等特点,正受到越来越多研究者的关注。文件存储是P2P网络的一个主要应用,也是对等网络技术发展的重要动力,基于P2P的文件存储应用已经成为互联网中的热门应用,对互联网的流量和使用产生了巨大影响。文件副本作为一种提高P2P网络中资源可用性和用户访问效率的有效手段,成为P2P文件存储不可或缺的重要组成部分,而如何对已有的副本进行一致性维护就成了迫切需要解决的问题。本文针对目前P2P的副本一致性维护策略中存在更新慢,冗余多,断路修补困难等问题,在总结以往研究的基础上,提出了一种新的基于蚁群算法的副本一致性维护策略。利用自然生态学中的蚁群算法,引入信息素的概念,根据一致性维护的需要重新定义蚂蚁的行为和状态。对副本一致性维护的过程进行建模,定义更新蚂蚁的结构,提出发送、更新等算法,并给出信息素更新的公式。利用蚂蚁进行一致性维护并沿途释放信息素,加快副本更新的速度,减少更新过程中产生的冗余消息,并且充分利用蚂蚁在寻路中的优势,修补断开的更新路径。针对蚂蚁在实际漫游过程中遇到的结点抖动情况,本文对路径进行分类,对每种路径情况都给出了详尽的分析。通过对更新消息量、更新时间和更新成功率叁个关键数据进行模拟实验,结果表明,本文所提出的策略在保证较高更新成功率的前提下依然能有效减少更新代价,降低结点抖动对一致性维护带来的不利影响。(本文来源于《大连理工大学》期刊2013-04-20)
王喜妹,杨寿保,王淑玲,郭良敏[8](2013)在《云存储中一种自适应的副本一致性维护机制》一文中研究指出提出一种基于应用和用户需求的自适应的副本一致性维护机制,包括更新一致性和归并一致性.系统根据形式化的一致性需求实时调整一致性机制,达到副本一致性、可用性和系统性能之间的动态平衡.实验结果表明,该机制能够在保证一致性需求的情况下,显着降低操作代价并提高副本可用性.(本文来源于《中国科学院研究生院学报》期刊2013年01期)
李征来[9](2012)在《无结构P2P网络副本一致性的研究》一文中研究指出随着计算机技术,尤其是P2P网络的发展,P2P技术的应用越来越广泛。P2P打破传统的C/S网络模式,每个节点以平等的地位自由加入和离开网络,自愿贡献自己的资源。许多新型业务如远程协作,分布式存储,多人在线游戏等正被应用到P2P网络中。但这些新型业务也对P2P网络提出了更高的要求,P2P网络中传统的只读文件已经远远不能满足需求。文件被要求能够进行读写操作,并且能够被复制多份。每个用户都能对文件进行修改,修改后的数据能及时更新到其他的副本,所有这些都对文件的副本更新提出了更高的要求。传统的一致性维护策略不能适应这种高频率的文件修改,且在更新过程中产生大量的冗余信息。针对这种情况,本文对无结构P2P网络的一致性维护进行了深入细致的研究。本文在总结分析前人研究的基础上,针对无结构P2P网络副本一致性维护存在的问题,提出了一种新的更新策略,称为UPTUR(Update Propagation Tree based on Update Rate),即基于更新频率的副本更新传播树。该策略在无结构P2P网络中使用Chord协议作为组管理协议,同一文件的所有副本所在节点构成一个Chord环,通过不断分割Chord环上副本节点的空间区域,逐渐构建一棵更新传播树。为了减少冗余更新,本文还引入副本更新频率的概念,选取文件修改频率和副本访问频率中的较小者作为该副本的更新频率,收集每个节点的更新频率,在建树的过程中选择更新频率较高的节点作为父节点,每个父节点根据每个子节点的更新频率发送更新,这样就省去了不必要的更新,减少了副本更新所带来的网络消耗。为了减少节点抖动对更新树造成的影响,本文还提出节点稳定性的概念,在选择父节点时,如果两个节点的更新频率相差不多,优先考虑稳定性较高的节点。仿真实验结果表明,本文提出的UPTUR策略能有效减少更新过程中产生的冗余信息。并且在文件修改频率较高的情况下,一致性维护的代价也比以往的策略更小。(本文来源于《大连理工大学》期刊2012-05-20)
胡少雄[10](2012)在《基于Primary-copy机制的副本一致性更新策略》一文中研究指出在分布式存储系统的设计中,为防止单点故障导致数据不可用,通常为每个数据对象保存多个副本。多副本提高了系统的可靠性与可用性,但使得更新副本操作更为复杂。提出了一种基于主副本复制(Primary-Copy)机制,简化了多副本更新操作,使对象的所有副本达到统一镜像。同时,采用主副本并行转发更新数据到从属副本的策略,而不是链式传递更新数据,减少系统对客户端的更新响应延迟。(本文来源于《软件导刊》期刊2012年04期)
多副本一致性论文开题报告
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
针对发布/订阅系统中缓存副本一致性维护问题,首先,对原有基于谣言的一致性维护算法进行改进,提出一种基于轨迹标签的谣言一致性维护算法。该算法通过在更新消息报文中添加节点轨迹信息,避免向已更新节点发送冗余更新消息。其次,为提高系统消息传播的可靠性,设计一种基于轨迹标签的层次化反馈恢复机制,结合发布/订阅系统推拉传输模式,减少反馈消息数目,避免反馈爆炸。模拟实验结果证明,改进的一致性维护算法降低了一致性维护消息开销和时间开销,提高了系统的可靠性和可扩展性。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
多副本一致性论文参考文献
[1].黄向东.分布式存储系统数据分区与副本一致性形式化建模与优化[D].清华大学.2017
[2].王峰,李立新,曹景源,潘聪.发布/订阅系统中的缓存副本一致性研究[J].计算机应用.2016
[3].刘鑫伟.基于Ceph分布式存储系统副本一致性研究[D].华中科技大学.2016
[4].仇明杨,焦梦姗,和凡琪.基于Chord的P2P网络副本一致性维护策略[C].Proceedingsof20152ndInternationalConferenceonCreativeEducation(ICCE2015V11).2015
[5].范立衡,任祖杰.基于键值存储的元数据集群副本一致性研究[J].杭州电子科技大学学报.2014
[6].范立衡.基于键值存储引擎的元数据管理集群副本一致性的研究[D].杭州电子科技大学.2014
[7].张昌远.基于蚁群的P2P网络副本一致性维护策略[D].大连理工大学.2013
[8].王喜妹,杨寿保,王淑玲,郭良敏.云存储中一种自适应的副本一致性维护机制[J].中国科学院研究生院学报.2013
[9].李征来.无结构P2P网络副本一致性的研究[D].大连理工大学.2012
[10].胡少雄.基于Primary-copy机制的副本一致性更新策略[J].软件导刊.2012