面向大规模流媒体服务的高性能存储系统研究

论文摘要

对流媒体服务平台性能影响最大的因素包括：流媒体服务器的最大吞吐量、流媒体服务器的Internet接入速率、流媒体存储系统的最大吞吐量。内容分发网络与缓存服务器将流媒体服务的访问点从流媒体服务器变为靠近用户所在区域的缓存服务器，降低了Internet主干网络带宽波动对流媒体服务质量的影响，同时也降低了对流媒体服务器接入速率的要求。客户端P2P数据共享机制减小了流媒体服务器的访问负载，降低了对流媒体服务器吞吐量与Internet接入速率的要求。而流媒体存储系统作为流媒体服务平台的核心部件却研究较少，流媒体的软实时特性使得流媒体存储系统和一般的高性能存储系统的性能指标存在很大不同，在流媒体服务中直接应用一般的高性能存储系统并不能获得最好的服务性能，必须针对流媒体应用的特性设计对应的高性能存储系统。本文研究面向Internet的大规模流媒体服务所需的存储系统结构，其目标是以较低的成本提供高性能、支持QoS确保机制的流媒体存储服务。主要内容如下：1．分析主要的流媒体服务平台体系结构以及已有的各种高性能存储系统直接应用于流媒体服务时存在的不足，指出了研究面向流媒体服务的高性能存储系统的重要性。2．通过系统仿真手段研究了流媒体服务的负载特性，以此为基础研究了存储系统服务性能与缓存容量、数据访问粒度、磁盘带宽之间的关系，获得了存储节点的设计规则。3．提出了数据条带化分片存储与并行访问相结合的高性能存储系统，通过采用并行元数据服务器结构，获得了比类似系统更高的可用性和更高的性能。4．提出了基于三级目录结构的元数据检索机制，提高了检索性能。通过元数据服务器中的快表机制，提高了热点元数据的查询性能。通过在元数据服务中引入元数据预取机制，减小了影片服务过程中查询元数据信息的次数。通过在元数据服务的使用者中引入元数据信息缓存机制，避免了对同一个数据对象多次请求元数据信息而伴随的开销。5．为了进一步提升存储系统的服务性能，在流媒体服务器与存储系统之间引入了独立的分布式缓存层。通过统一管理分布式缓存层的各个节点的缓存空间，构建了全局可见的数据缓冲池。分布式缓存层显著改善了存储系统的访问性能，特别是热点数据的访问性能。6．提出了一种结合了可变比例区分服务模型、接纳控制、多描述编码的服务质量确保机制，为流媒体存储系统提供了服务质量确保能力。7．针对流媒体服务的运营商向Internet上不同区域的多个存储系统部署影片的需求，提出了一种基于最优化服务带宽分配策略，可以适应Internet网络带宽波动的目标节点协同数据分发机制，通过目标节点相互提供对方所需的数据，提高了影片分发性能，降低了数据源节点的负载。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 流媒体应用的关键技术
• 1.2 流媒体应用的特性
• 1.3 面向大规模流媒体服务的体系结构
• 1.4 构建大规模流媒体服务平台面临的问题
• 1.4.1 现有的商业存储技术概述
• 1.4.2 典型的分布式/集群文件系统概述
• 1.4.3 典型的P2P存储系统概述
• 1.4.4 现有存储系统用于流媒体服务存在的问题
• 1.5 本文的工作和主要成果
• 1.5.1 研究目标
• 1.5.2 主要的工作和成果
• 1.6 论文结构
• 第二章 面向流媒体服务的存储系统访问特性研究
• 2.1 高性能存储系统设计中的相关问题
• 2.2 流媒体流量特性和I/O模型的分析
• 2.2.1 流媒体节目流量特性的提取
• 2.2.2 流媒体节目并发流量特性研究
• 2.3 流媒体存储系统的访问特性研究
• 2.3.1 数据访问粒度对存储系统性能的影响
• 2.3.2 缓存容量对存储系统性能的影响
• 2.3.3 存储系统服务带宽对系统性能的影响
• 2.4 本章小结
• 第三章 面向流媒体服务的高性能存储系统
• 3.1 流媒体应用对存储系统的要求
• 3.2 高性能存储系统关键技术
• 3.2.1 热点数据服务策略
• 3.2.2 元数据服务器结构
• 3.2.3 QoS确保机制
• 3.3 面向流媒体服务的高性能存储系统
• 3.3.1 HPMSS的服务流程
• 3.3.2 HPMSS的数据分片与副本管理
• 3.3.3 HPMSS的元数据服务机制
• 3.4 HPMSS的元数据服务器体系结构
• 3.4.1 HPMSS与 GoogleFS比较
• 3.4.2 HPMSS与 HANDY比较
• 3.5 本章小结
• 第四章 HPMSS元数据服务研究
• 4.1 元数据服务机制描述
• 4.1.1 第一级索引机制
• 4.1.2 第二级索引机制
• 4.1.3 第三级索引机制
• 4.2 基于快表的元数据服务机制
• 4.3 基于元数据预取的元数据服务策略
• 4.4 元数据服务结果缓存机制
• 4.5 本章小结
• 第五章 HPMSS的性能优化研究
• 5.1 面向流媒体数据访问的协同缓存机制
• 5.1.1 全局流媒体对象协同缓存系统结构
• 5.1.2 协同缓存流媒体服务器工作流程描述
• 5.1.3 协同缓存系统性能分析
• 5.1.4 协同缓存系统性能评价
• 5.2 HPMSS的QoS确保机制研究
• 5.2.1 存储系统 QoS研究概述
• 5.2.2 MDC编码概述
• 5.2.3 HPMSS的QoS确保机制描述
• 5.2.4 HPMSS的QoS确保机制性能评价
• 5.3 本章小结
• 第六章 基于协同服务的影片分发机制研究
• 6.1 问题描述
• 6.2 现有的大尺度文件分发存在的问题
• 6.3 基于协同服务的影片分发机制
• 6.3.1 协同数据分发机制概述
• 6.3.2 最优化分发带宽分配策略研究
• 6.3.3 影片协同分发机制描述
• 6.4 影片协同分发机制性能评价
• 6.5 本章小结
• 第七章 全文总结
• 7.1 本文工作总结
• 7.2 待研究的问题
• 致谢
• 参考文献
• 攻博期间取得的研究成果