面向多核的多层次实时网络数据流调度技术研究

论文摘要

随着互联网技术的不断发展,基于网络的视频和多媒体服务业务突飞猛进,视频服务将成为互联网的核心应用。视频服务系统需要大量的计算资源来提供高并发、高质量的实时网络数据流,通用处理器已经难于满足视频服务系统对计算能力的要求。多核网络处理器不但有极强的计算能力,还集成了多种网络处理加速技术,已经成为构建高性能网络应用平台的首选方案。由于视频数据流具有实时性、波动性、突发性等特点,如何充分发挥多核网络处理器的技术优势,以保证视频数据流平稳传输、降低数据流传输时的流量波动,将是影响未来互联网发展方向的关键问题之一针对上述问题,本文提出了基于多核网络处理器的实时网络数据流调度模型,即从核间任务调度、多核拓扑结构和多处理器间资源协作等三个层次展开讨论,并对每个层次的调度技术进行深入的研究。本文的主要工作和贡献为：（1）提出多核处理器上多层次实时网络数据流调度框架,该框架整合了核间任务调度、多核拓扑管理、多处理器间资源协作三个层次的算法与模型,从不同粒度优化实时网络数据流调度,充分发挥多核处理器的处理能力和并行特性；（2）提出一种变周期实时和非实时协同混合处理的实时网络数据流调度模型,将变周期数据流实时和非实时处理转化为多核处理器混合任务调度问题。该模型在保证数据流实时调度的前提下,提高了系统的吞吐量和并发量；（3）提出解决变周期混合任务调度问题的EDF-segment算法,该算法采用动态规划策略对多核处理器上的实时任务进行在线调整,消除了实时任务调度出现的时间碎片,提高了多核处理器混合任务调度的效率,解决了面向多核处理器的资源利用率和数据流调度实时性的多目标优化问题；（4）提出基于实时网络数据流调度波动保障模型的混合多核拓扑构造方法,确定了实时网络数据流调度模型数据层面的串行流水线混合多核结构,并基于该结构实现了高并发实时网络数据流的平滑传输；（5）提出基于资源实时协作和负载实时迁移策略的多处理器实时网络数据流调度模型,在资源实时协作和负载实时迁移策略中引入了实时预测机制,解决了由于数据流码率抖动造成的系统资源失衡和任务处理延迟问题,充分发挥了实时网络数据流调度模型的实时数据处理能力。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 研究背景
• 1.1.1 互联网视频流量特征的现状与前景
• 1.1.2 基于多核处理器的实时网络数据流调度处理必然性
• 1.2 相关问题和研究意义
• 1.2.1 互联网实时网络数据流传输问题
• 1.2.2 高性能实时网络数据流调度平台的搭建
• 1.2.3 基于多核处理器的实时网络数据流调度平台系统优化问题
• 1.3 研究内容和创新点
• 1.4 本文内容安排
• 第2章 多核处理器相关技术的研究
• 2.1 多核处理器分类与体系结构
• 2.1.1 同构与异构多核处理器
• 2.1.2 通用处理器与网络处理器
• 2.2 主流多核网络处理器技术特点分析
• 2.3 基于多核网络处理器的实时网络数据流调度研究
• 2.3.1 多核网络处理器上实时网络数据流调度软件框架
• 2.3.2 多核网络处理器上数据流调度与任务处理的映射关系
• 2.3.3 数据层面相关数据流调度问题
• 2.4 多核网络处理器数据流调度框架关键问题分析
• 2.5 本章小结
• 第3章 基于多核处理器的实时网络数据流调度平台多层次调度模型研究
• 3.1 引言
• 3.2 研究背景与相关工作
• 3.2.1 面向数据流实时调度的网络处理器操作系统
• 3.2.2 实时网络数据流调度模型
• 3.3 实时网络数据流调度平台需求分析
• 3.4 实时网络数据流调度平台系统框架
• 3.5 实时网络数据流调度平台多层次数据流调度模型
• 3.6 实时网络数据流调度平台软件模块设计
• 3.7 实时网络数据流调度平台技术特点分析
• 3.7.1 实时性保证
• 3.7.2 流水线加速
• 3.7.3 数据流保序
• 3.8 面向集群VOD系统的实时网络数据调度模型应用
• 3.8.1 流媒体服务器文件部署特性
• 3.8.2 基于双门限的网络带宽利用率改进算法
• 3.9 本章小结
• 第4章 核间并行任务调度层次的实时网络数据流调度研究
• 4.1 引言
• 4.2 研究背景与相关工作
• 4.3 多核处理器任务调度研究
• 4.3.1 实时系统中任务调度算法的选择
• 4.3.2 多核处理器上周期性实时任务调度算法相关问题分析
• 4.4 系统模型和问题描述
• 4.4.1 系统模型
• 4.4.2 问题描述
• 4.5 算法与分析
• 4.5.1 算法
• 4.5.2 EDF-segment算法分析
• 4.6 实验结果及分析
• 4.7 本章小结
• 第5章 多核拓扑结构层次上实时网络数据流调度研究
• 5.1 引言
• 5.2 研究背景与相关工作
• 5.3 多核处理器上数据流调度系统模型和问题描述
• 5.3.1 多核处理器并行化技术分析
• 5.3.2 多核处理器网络数据流调度系统框架
• 5.3.3 实时网络数据流调度模型和参数设定
• 5.3.4 问题描述
• 5.4 全对称并行结构及混合结构实时网络数据流调度平台性能分析
• 5.5 实验结果与扩展性分析
• 5.5.1 数据包发送波动的比较分析
• 5.5.2 CPU利用率的比较分析
• 5.5.3 扩展性分析
• 5.6 本章小结
• 第6章 多处理器层次的实时数据流调度研究
• 6.1 引言
• 6.2 研究背景与相关工作
• 6.3 系统模型和问题描述
• 6.3.1 系统模型
• 6.3.2 问题描述
• 6.4 实时网络数据流调度平台上双处理器负载均衡策略
• 6.5 实验结果及分析
• 6.5.1 数据包延迟结果与分析
• 6.5.2 处理器资源利用率分析
• 6.5.3 任务实时性对资源管理和负载均衡策略的影响
• 6.6 本章小结
• 第7章 总结与展望
• 7.1 工作总结
• 7.2 未来展望
• 参考文献
• 致谢
• 在读期间发表的学术论文与取得的其他研究成果