大规模多媒体存储系统中数据放置与调度策略的研究

论文题目: 大规模多媒体存储系统中数据放置与调度策略的研究

论文类型: 博士论文

论文专业: 计算机科学与技术

作者: 王俊伟

导师: 金士尧

关键词: 视频服务器,无服务式集群,存储,可用度,数据放置策略,数据片化,并发度,负载平衡,平衡超图划分,数据块重组,流媒体,调度策略

文献来源: 国防科学技术大学

发表年度: 2005

论文摘要: 随着计算机技术的进步和多媒体技术的发展,大规模服务器存储系统成为当前研究的热点。在设计大规模媒体服务器的存储系统时,需要提供巨大而可靠的存储空间和高I/O吞吐,尤其是读的I/O性能。数据分布方式是影响存储系统的性能和相应调度策略的关键因素,因此,研究视频服务器存储系统中数据分布及其调度策略具有重要意义,本文围绕这些问题开展了—些有意义的研究工作。本文首先设计了—种分布式的网络RAID系统,它采用大量的磁盘驱动器构建集群存储系统:所有分布的本地磁盘可以用中间件粘连在—起形成一个大的、具有单一I/O空间的存储池。它能够获得非常可观的性能和存储容量,提供高效的结点间磁盘文件共享功能和媒体服务性能。建立在高性能PC结点集群基础上的大规模集群视频服务器是一种经济而高效的结构。其次,在分布网络RAID存储布局的基础研究之上,本文设计了—种在磁盘存储区域中将数据块与校验块分离放置(SPDB)的数据片化方式,它能够获得最大并发流数目;同时设计了一种结点级校验组(NDPG)的冗余数据放置方式,使整个系统能够容忍单结点和单个磁盘失效,能够以较低的存储开销获得较高的可用度。并且利用马尔可夫状态图的方法分析了存储系统的可用度,结果表明,在相同的系统配置下,NDPG相比简单RAID-5和RAID-x的可用度改进因子(AIF)分别为99.59%和89.05%。系统扩展是满足容量和带宽增长需求的主要手段,但是扩展过程需要在整个系统中重新调整和分布数据块。本文总结了扩展算法应当遵循的三个条件:扩展算法开销小;数据移动量小;扩展后存储及负载均衡。并对视频服务器上媒体文件的数据块按随机放置方式分布于各个结点中,暂时不考虑校验和冗余信息的情况下,设计了编号重组(SNR)算法,它不但可以达到快速扩展的要求,而且扩展后存储负载保持均衡。为了充分利用多磁盘的并行性以减少请求的执行时间,需要确定将—个I/O请求划分为多少个子请求,即并发度。通过解析的方法确定I/O请求的最佳并发度相比其它方法具有简单,完备和高效的优点。本文根据磁盘设备数据准备时间、设备的带宽和设备的请求管理开销等因素,研究了为视频请求选择合理的并发度的问题,以更好地利用多个设备的并发性能来减少I/O请求执行时间,为数据片化提供一定的理论依据,并依此确定系统配置的规模。并对解析结果进行了充分的模拟试验。试验表明,该方法能合理的选择系统结点数和设备数、片单元大小等配置,对提高系统性能具有指导意义。为了同时优化存储系统中请求并发和负载平衡,本文提出基于平衡超图划分的自适应数据分布策略;在此策略中设计了两个目标函数同时进行请求并发与负载平衡的优化控制,根据一定I/O访问模式动态优化盘阵性能。在此基础上,结合离差和熵的概念,设计了一种调整负载

论文目录:

图目录

表目录

摘要

ABSTRACT

第一章绪论

§1．1 研究背景

1．1．1 不断增长的大规模数据存储需求

1．1．2 视频服务的广泛应用及特点

1．1．3 视频服务对存储系统的要求

§1．2 研究现状

1．2．1 存储技术的发展

1．2．2 网络存储技术

1．2．3 实现全局磁盘共享的方法

1．2．4 大规模视频服务器系统结构

§1．3 本文的主要工作及创新

1．3．1 集群视频服务器存储系统的关键问题

1．3．2 研究工作的主要贡献及创新

§1．4 论文结构

第二章集群视频服务器系统及其存储系统结构

§2．1 集群视频服务器系统

2．1．1 高性能集群计算机系统应用于视频服务器

2．1．2 一个集群视频服务器系统结构

§2．2 存储系统结构及数据放置策略

2．2．1 集群视频服务器中的存储结构

2．2．2 数据存储策略

2．2．3 数据片化的一些基本概念

2．2．4 数据块片化及校验块放置方式

§2．3 存储系统的其它问题

§2．4 本章小结

第三章采用NDPG拆分策略的存储系统的可用度分析

§3．1 相关工作

§3．2 模型假设和衡量指标

3．2．1 可用度的Markov模型

3．2．2 存储系统部件及其参数

§3．3 结点级校验组(NDPG)的集群存储结构

§3．4 可用度分析

3．4．1 NDPG集群存储系统储系统可用度分析

3．4．2 RAID-x的可用度分析

3．4．3 简单RAID-5冗余方式的可用度分析

§3．5 可用度评测

§3．6 本章小结

第四章对随机放置的多媒体数据块的一种有效重组算法

§4．1 引言

4．1．1 问题的提出

4．1．2 相关工作

§4．2 编号重组(Serial Number Reorganization,SNR)扩展算法

4．2．1 SNR重组算法

4．2．2 扩展算法的另外一种描述

4．2．3 几种数据重组算法的比较

§4．3 双倍扩展

4．3．1 算法描述

4．3．2 算法举例

4．3．3 算法特点

§4．4 性能比较

4．4．1 度量标准

4．4．2 SNR算法与其它算法的对比

4．4．3 倍数扩展的性能

§4．5 本章小结

第五章视频服务器系统并发设备数的优化选择

§5．1 问题的提出

§5．2 相关工作

5．2．1 磁盘片化的优化

5．2．2 磁盘片化模型

§5．3 请求服务的解析模型

5．3．1 n个独立同分布变量最大值

5．3．2 服务时间分布及其符号

5．3．3 层次式服务模型

§5．4 试验验证

5．4．1 参数选取

5．4．2 实验模型

5．4．3 试验结果

5．4．4 误差模拟

§5．5 总结

第六章基于平衡超图划分的自适应请求并发与负载平衡算法

§6．1 引言

§6．2 相关工作

§6．3 问题描述

6．3．1 平衡超图

6．3．2 数据分布

6．3．3 请求并发目标函数

6．3．4 负载平衡目标函数

6．3．5 信息记录

§6．4 平衡超图划分实现算法

6．4．1 ACTION函数

6．4．2 平衡超图划分算法

6．4．3 数据移动的利润获取计算

6．4．4 并发的数据调整算法

6．4．5 基于请求的重构技术

§6．5 模拟试验

6．5．1 试验模型

6．5．2 负载合成

6．5．3 试验结果

§6．6 本章小结

第七章 BECP：基于尽力发送的集群视频服务器调度策略

§7．1 基础条件

7．1．1 客户端

7．1．2 服务端服务模式

7．1．3 服务策略分类

§7．2 相关工作

7．2．1 并行和集群服务器系统的调度

7．2．2 不同数据分布方式对应的调度策略

§7．3 协作磁盘驱动器(CDD)模块及其在视频服务中的应用

7．3．1 CDD模块的软件结构

7．3．2 CDD与传统的NFS服务器访问远程磁盘的过程比较

7．3．3 CDD中视频数据块的放置

§7．4 BECP调度策略

§7．5 BECP调度策略分析

7．5．1 基本调度

7．5．2 调度策略的改进及其分析

§7．6 模拟试验

7．6．1 模拟器

7．6．2 模拟结果

§7．7 总结和进一步工作

第八章结束语

§8．1 工作总结

§8．2 研究展望

8．2．1 传统的集中式视频服务器上进行优化改造

8．2．2 P2P服务模式下流媒体服务的研究

致谢

攻博期间发表的部分学术论文

参考文献

发布时间: 2005-11-07

参考文献

[1].事务存储系统：事务冲突与事务并行[D]. 曾坤.国防科学技术大学2011
[2].关于存储系统性能的测试、仿真与评价的研究[D]. 刘劲松.华中科技大学2004
[3].高性能存储系统研究[D]. 郇丹丹.中国科学院研究生院（计算技术研究所）2006
[4].二级网络条纹数据布局及其相关问题的研究[D]. 刘晓光.南开大学2002
[5].基于以太网的存储系统研究[D]. 胡风华.中国科学院研究生院（计算技术研究所）2005
[6].对等存储系统中的数据可用性与安全性研究[D]. 田敬.北京大学2007
[7].进化存储系统数据组织模式研究[D]. 李怀阳.华中科技大学2006
[8].进化存储系统中的逻辑和物理进化研究[D]. 刘艳.华中科技大学2006
[9].列存储系统的数据安全与网络性能优化模型研究[D]. 王福伟.燕山大学2016
[10].大规模分布式纠删码存储系统中的高效数据传输技术研究[D]. 张菁.国防科学技术大学2015

大规模多媒体存储系统中数据放置与调度策略的研究

猜你喜欢