海量数据P2P分布式稳固存储方法与优化研究

论文摘要

海量数据P2P分布式稳固存储是以现有P2P技术为基础,由网络上大量P2P存储结点间相互协作,按照存储数据资源共享的系统服务原则,从而实现有机构成的分布式高可靠对等存储体系。P2P分布式存储系统所面对的是高动态化的网络存储环境,各P2P存储结点存在着自主的用户行为特征和非线性的在线/离线变化,对这种高度复杂的大规模分布式存储系统进行存储稳固性研究是一个具有挑战性的课题,会带来许多传统分布式存储体系很难有效解决的存储管理问题。本文围绕着与海量数据P2P分布式存储系统相关的存储结构规划和存储组织管理进行研究,其目的是在现有的网络条件下构建具有稳固存储服务能力的P2P存储体系。海量数据P2P分布式稳固存储是一个综合性问题,它要同时面对海量数据的稳固存储需求和P2P分布式存储的复杂应用环境,上述两方面形成既相互关联又相互制约的系统研究模式。在此基础上,借鉴传统分布式存储系统的已有研究成果,结合P2P技术引入的分布式存储新特点,通过对P2P分布式存储系统进行合理的存储架构及其管理方法优化,从而弥补P2P存储模式下松散组织关系与数据稳固存储的固有矛盾,并运用仿真实验和系统案例来验证所提方法的有效性。本文的主要工作和创新点主要包括以下几个方面:(1)针对海量数据P2P分布式稳固存储的整体概念问题,通过分析P2P分布式存储系统所具有的工作特点,提出将P2P稳固存储划分为持久存储、稳定访问和突发抗毁的三类基本能力特征,以符合P2P分布式存储系统的应用需求及其运行规律。在此基础上对实现P2P稳固存储的系统模块构成进行总体归纳,得到反映系统不同稳固存储能力特征的可靠性模型,并选择恰当的可靠性指标来描述不同的存储稳固性,从而为本文的后续研究工作提供模型化参考。(2)针对海量数据P2P分布式稳固存储的结构规划优化问题,通过合理的P2P数据冗余存储组织结构来提高存储系统的整体容错水平。本文的结构规划研究重点讨论了两方面内容:首先,在P2P冗余存储方式方面,本文根据完整副本冗余和纠删编码冗余的分析比较结论,选择了具有最佳纠删能力的MDS纠删编码作为稳固存储的冗余存储方式,通过存储–管理开销的存储效能函数来设定MDS纠删编码冗余存储的冗余参数,并根据纠删编码原理构造n值扩展的系统码MDS纠删编码方案以进一步提高冗余存储的存储性能。其次,在P2P冗余存储结构方面,本文通过对P2P纠删编码冗余存储结构的性能退化进行分析,提出了一种适合于P2P存储模式的SegEra分段纠删编码冗余存储结构,根据SegEra的分段大小建立能够反映存储结构效益的规划模型,并根据存储结构效益规划模型的求解结果得到满足优化条件要求的SegEra存储结构参数。(3)针对海量数据P2P分布式稳固存储的组织管理优化问题,通过适应于P2P存储架构的复杂协作环境形成满足稳固需求的管理方法。本文的组织管理研究重点讨论了三方面内容:首先,在P2P失效维护机制方面,本文通过分析P2P存储数据暂时失效与永久失效的行为特征,提出了一种优化结点数据失效判定准确性和恢复及时性的维护方法,根据P2P存储结点的离线时间长度记录来预测下次的期望离线时间,采用平稳小波变换结合BP神经网络来预测出期望值的渐变和突变趋势,并根据预测结果建立出P2P存储数据的延迟修复效益模型以保证失效数据的优化维护。然后,在P2P分层组织机制方面,本文根据P2P分布式存储系统的强/弱结点架构的评估结果,采用了技术接受理论来描述P2P存储结点的能力变化规律,建立元胞自动机模型来分析结点能力演化对系统的整体影响,并以此提出基于结点服务能力划分的存储管理方法,将P2P存储结点归为联合存储层、协作存储层和共享存储层,采用区别化的存储管理改善协作存储关系以提高稳固存储效果。最后,在P2P抗毁分布机制方面,本文针对一般存储数据分布方法所存在的不足进行探讨,引入了网络抗毁条件作为P2P冗余存储数据的分布考量因素,通过建立基于经典网络抗毁理论的数据存储分布模型,将数据的存储抗毁能力与数据冗余分布相联系,根据存储数据的分布拓扑进行存储抗毁能力的测度设定,从而构造出存储抗毁优化的P2P冗余存储数据分布方法。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.1.1 军事条件对海量数据P2P 存储模式的需求
• 1.1.2 海量数据P2P 分布式稳固存储面临的挑战
• 1.1.3 面向海量数据P2P 分布式稳固存储的研究方向
• 1.2 国内、外相关研究现状
• 1.2.1 P2P 架构管理的关键技术研究现状
• 1.2.2 P2P 系统应用的领域发展研究现状
• 1.2.3 海量数据P2P 分布式存储的管理研究现状
• 1.3 论文主要工作和创新点
• 1.3.1 论文的研究范畴
• 1.3.2 论文的研究内容和创新点
• 1.4 论文组织结构
• 第二章 海量数据P2P 分布式存储的稳固性
• 2.1 海量数据P2P 分布式稳固存储的问题描述
• 2.2 海量数据P2P 分布式稳固存储的系统分析
• 2.2.1 P2P 数据稳固存储的系统特点
• 2.2.2 P2P 数据稳固存储的概念解析
• 2.3 海量数据P2P 分布式稳固存储的实现途径
• 2.3.1 基于结构规划角度的研究途径
• 2.3.2 基于组织管理角度的研究途径
• 2.4 海量数据P2P 分布式稳固存储的理论模型
• 2.4.1 面向持久存储能力的可靠性建模
• 2.4.2 面向稳定访问能力的可靠性建模
• 2.4.3 面向突发抗毁能力的可靠性建模
• 2.5 本章小结
• 第三章 海量数据冗余存储方式的比较分析选择
• 3.1 数据冗余存储方式的综合适应性评价
• 3.1.1 数据冗余存储方式的选择概述
• 3.1.2 数据冗余存储方式的综合比较
• 3.2 数据冗余存储方式的存储效能评估分析
• 3.2.1 数据冗余存储效能函数的定义
• 3.2.2 可靠性约束条件下的解空间构造
• 3.2.3 存储效能最大化问题的求解示例
• 3.3 基于MDS 纠删编码冗余存储的性能优化
• 3.3.1 MDS 纠删编码的优化设计目标
• 3.3.2 n 值扩展的系统码MDS 纠删编码
• 3.3.3 数据冗余存储的性能优化评价
• 3.4 本章小结
• 第四章 海量数据分段纠删编码的存储结构实现
• 4.1 海量数据冗余存储结构的关键组成要素分析
• 4.2 基于纠删编码的海量数据冗余存储结构不足
• 4.2.1 冗余存储结构的数据检验性能不足
• 4.2.2 冗余存储结构的数据更新性能不足
• 4.2.3 冗余存储结构的数据访问性能不足
• 4.3 可伸缩性分段纠删编码冗余存储结构SegEra
• 4.3.1 SegEra 存储结构的存储数据构造
• 4.3.2 SegEra 存储结构的存储组织构造
• 4.3.3 SegEra 存储结构的整体性能分析
• 4.4 SegEra 存储结构的结构效益P2P 适应性优化
• 4.4.1 SegEra 存储结构的结构效益模型
• 4.4.2 SegEra 存储结构的性能参数优化
• 4.4.3 SegEra 存储结构的效益优化评价
• 4.5 本章小结
• 第五章 P2P 冗余存储数据的失效维护机制与方法
• 5.1 P2P 冗余存储数据的失效维护研究概述
• 5.2 P2P 冗余存储数据的失效判定模式分析
• 5.2.1 P2P 冗余存储数据的失效特点
• 5.2.2 P2P 冗余存储数据的失效判定模型
• 5.3 单个P2P 存储结点期望离线时间长度的预测方法
• 5.3.1 期望离线时间长度统计预测的基本思想
• 5.3.2 基于平稳小波变换的时间长度信号分解
• 5.3.3 基于BP 神经网络的期望离线时间长度预测
• 5.4 基于统计预测的P2P 冗余存储数据失效维护机制
• 5.4.1 P2P 冗余存储数据的综合修复效益
• 5.4.2 惰性失效维护优化的综合修复效益评价
• 5.4.3 采用惰性失效维护机制的案例分析
• 5.5 本章小结
• 第六章 P2P 冗余存储数据的分层组织机制与方法
• 6.1 P2P 存储结点的结点服务能力差异性分析
• 6.1.1 P2P 存储结点服务时间的差异性
• 6.1.2 存储结点的服务空间差异性
• 6.2 结点服务能力对P2P 分布式存储系统的演化影响
• 6.2.1 结点服务能力的技术接受模型分析
• 6.2.2 P2P 分布式存储系统的元胞自动机演化
• 6.2.3 系统演化实验的参数设计与案例构造
• 6.3 基于能力划分的P2P 冗余存储数据分层组织机制
• 6.3.1 分层组织机制的存储管理方式描述
• 6.3.2 结点服务能力的自适应分层组织方法
• 6.3.3 采用结点分层组织机制的案例分析
• 6.4 本章小结
• 第七章 P2P 冗余存储数据的抗毁分布机制与方法
• 7.1 P2P 冗余存储数据的分布式破坏分类概述
• 7.1.1 存储数据的分布式破坏对象分类
• 7.1.2 存储数据的分布式破坏形式分类
• 7.2 P2P 冗余存储数据的网络分布抗毁评估分析
• 7.2.1 P2P 冗余存储数据的网络分布建模
• 7.2.2 网络分布结构模型的拓扑特征及其抗毁分析
• 7.2.3 面向数据访问破坏的抗毁评估测度
• 7.3 基于结构评估的P2P 冗余存储数据抗毁分布机制
• 7.3.1 P2P 冗余存储数据的分布结构抗毁评估
• 7.3.2 结构抗毁评估的存储数据分布策略
• 7.3.3 采用数据抗毁分布机制的案例分析
• 7.4 本章小结
• 第八章 总结
• 8.1 本文总结
• 8.2 进一步的研究与展望
• 致谢
• 参考文献
• 附录一：攻读博士学位期间取得的学术成果
• 附录二：攻读博士学位期间主要参与的科研项目