技术创新平台存储系统的冗余容错机制研究

论文摘要

企业、大学以及科研机构等组织之间的产学研合作能够有效加快科学技术成果的产业化、商品化、和国际化。技术创新平台为产学研合作提供了一种新的平台，这种平台能够使各参与方跨越地理障碍，进行全天候的协作创新，将教育、科技和经济结合，形成一个产学研合作的有机体。实现技术创新平台的一个关键是数据存储。在技术创新平台中，来自不同区域的海量数据需要存储，同时平台对数据存储成本以及可用性都有很高的要求。如何保证技术创新平台数据存储的海量跨区域性、低成本且高可用性是平台上产学研活动开展的基础，也是一个亟待解决的重要问题。因此，本文旨在于为技术创新平台提供一套有效的存储方案，并设计相应的冗余容错机制，以此来满足平台的存储需求。考虑到技术创新平台的海量跨区域的数据存储需求，本文引入了HDFS云存储框架来构建技术创新平台的存储系统。然而，当前版本的HDFS使用了完全副本冗余容错机制。这种冗余容错机制通过复制数据得到多个副本，并分别进行存储，以此保证系统的高可用性，但是这种方式增加了系统的冗余，增加了存储成本。因此，本文将纠删码技术引入到新的冗余容错机制设计中。这种新的冗余容错机制对原数据编码形成若干校验码，一旦数据发生丢失，使用校验码就可还原数据，以此保证系统高可用性。与完全副本冗余容错机制相比，这种新机制极大地降低了系统的冗余，减少了存储成本。同时，为了能够为技术创新平台提供低成本且高可用性的数据存储方案，本文在冗余容错机制的设计中加入了成本和可用性的冗余优化机制。首先建立一个双目标优化模型，同时提出了一种基于特征映射神经网络的冗余优化算法，用于搜索关于成本和可用性的最优方案。这种算法和其他多目标算法相比，其并行性、分布性以及低计算复杂度等特点更能适合在云存储环境下的存储优化方案搜索。另外，为了进一步提高算法收敛速度以及求解质量，利用云存储中存在大量主机的特点，对原冗余优化算法进行改进，加入了训练模块和竞争模块，提出了并行特征映射神经网络冗余优化算法。最后对本文提出的冗余优化算法以及冗余容错机制分别进行了测试。实验结果证明，与其他多目标优化算法相比，本文的冗余优化算法在求解质量、收敛性上都有着较好的表现。同时，结果证明，与完全副本冗余容错机制相比，本文提出的新冗余容错机制能够在保证系统高可用性的同时，有效降低系统冗余，减少了系统的存储成本。基于HDFS框架的技术创新平台存储系统能够有效满足平台对海量跨区域数据存储的需求。同时，针对该系统提出的冗余容错机制，经验证能够有效保证系统的高可用性以及降低系统冗余存储成本，能够满足平台数据存储的实际需求。另外，本文在基于特征映射神经网络的冗余优化算法方面的工作也为云存储环境下多目标优化算法的应用做出了有益的探索。

论文目录

• 摘要
• ABSTRACT
• 目录
• 第1章 绪论
• 1.1 课题来源
• 1.2 研究背景
• 1.3 研究意义
• 1.4 研究路线和技术思路
• 第2章 文献综述
• 2.1 技术创新平台
• 2.2 云存储系统
• 2.3 冗余容错机制
• 2.4 多目标优化算法
• 2.5 研究评述
• 第3章 技术创新平台存储系统的冗余容错机制设计
• 3.1 技术创新平台的体系结构
• 3.1.1 功能框架
• 3.1.2 存储需求
• 3.1.3 存储解决方案——云存储
• 3.1.4 一种开源的云存储框架——HDFS
• 3.2 基于HDFS框架的技术创新平台存储系统
• 3.2.1 技术创新平台存储系统的架构
• 3.2.2 技术创新平台存储系统的存储读取过程
• 3.3 技术创新平台存储系统的冗余容错机制设计
• 3.3.1 当前版本 HDFS 框架的冗余容错机制
• 3.3.2 纠删码冗余
• 3.3.3 引入纠删码的冗余容错机制设计
• 第4章 技术创新平台存储系统的冗余优化模型研究
• 4.1 问题描述
• 4.2 冗余存储模型
• 4.3 可用性模型
• 4.3.1 可用性的定义
• 4.3.2 系统可用性函数
• 4.4 冗余存储成本模型
• 4.5 双目标冗余优化模型
• 第5章 基于人工神经网络的冗余优化算法
• 5.1 基于SOFM神经网络的冗余优化（SOFM-RO）算法
• 5.1.1 神经网络拓扑结构
• 5.1.2 初始化
• 5.1.3 训练
• 5.1.4 重组
• 5.1.5 变异
• 5.1.6 更新
• 5.2 一种适用于云存储环境的并行SOFM-RO （PSOFM-RO）算法
• 5.2.1 训练模块
• 5.2.2 竞赛模块
• 第6章 冗余容错机制测试
• 6.1 环境设置
• 6.2 实验分析
• 6.2.1 冗余优化算法性能对比
• 6.2.2 两种冗余容错机制的性能对比
• 结语
• 参考文献
• 攻读学位期间科研成果
• 致谢