大规模视频转码调度算法的研究与设计

论文摘要

随着国家大力推进互联网、广播电视网、移动网的三网融合，有越来越多的视频数据需要畅游于三网之间。然而，三网间网络带宽、播放设备以及播放软件各不相同，因此需要对视频进行转码。但三网间有着规模高达百亿级的视频文件，其转码任务的存储量达到100PB级，转码任务的计算量也达到P级，如此大的存储量和计算量，无法依靠单台计算机来实现。本文提出了一种通过计算机集群系统的解决方案。首先研究了集群的体系结构，集群的特点，集群的分类和几种常用的集群调度算法，并针对视频转码的特殊背景，选择LVS（Linux virtual Server）作为集群的解决方案，通过剖析LVS的内部机制、调度算法的比较和算法的分析，提出了一种针对视频转码的改进型动态负载均衡算法：ADLBA算法（Advanced Dynamic Load Balance Algorithm）。ADLBA算法分为调度器端和节点端两个部分。调度器会定期收集各个计算节点实时的CPU信息和内存信息，获得每个计算节点的真实负载。同时，根据视频格式间相互转换时所需的资源需求，制定转码系数表，确定视频任务对资源的预期需求。最后调度器根据节点真实负载和任务的预期资源需求计算得出一个综合负载需求，选择综合负载最小的计算节点来调度。在节点端，算法通过优先级反馈队列的设置，来进行任务排队队列的管理，并选择优先级最高的任务到CPU上执行。最后，本文完整实现了ADLBA算法，并搭建了集群系统环境，通过与WLC算法在任务运行时间、平均等待时间和平均CPU利用率等方面的比较，验证了ADLBA算法的有效性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.1.1 研究意义
• 1.1.2 课题来源
• 1.2 研究现状
• 1.2.1 负载均衡
• 1.2.2 视频转码调度
• 1.2.3 存在问题
• 1.3 本文的主要工作
• 1.4 本文的组织安排
• 第二章 集群技术
• 2.1 集群技术
• 2.1.1 集群的特点
• 2.1.2 集群的分类
• 2.1.3 集群的系统结构
• 2.2 集群的任务调度
• 2.2.1 设计原则
• 2.2.2 评价指标
• 2.2.3 调度算法
• 2.3 负载均衡技术
• 2.3.1 概述
• 2.3.2 实现方式
• 2.3.3 均衡算法
• 2.4 本章小结
• 第三章 算法设计及实现
• 3.1 LVS 简介
• 3.1.1 LVS 均衡算法
• 3.1.2 算法比较
• 3.2 ADLBA 算法思路
• 3.3 ADLBA 调度端算法
• 3.3.1 预期负载量
• 3.3.2 调度器任务调度
• 3.4 ADLBA 节点端算法
• 3.4.1 节点静态权值
• 3.4.2 节点实时负载
• 3.4.3 节点任务调度
• 3.5 ADLBA 算法实现
• 3.5.1 数据结构
• 3.5.2 调度端算法实现
• 3.5.3 节点端算法实现
• 3.6 本章小结
• 第四章 性能测试与分析
• 4.1 实验环境
• 4.1.1 环境搭建
• 4.1.2 LVS 部署
• 4.2 实验设计
• 4.2.1 实验内容
• 4.2.2 实验参数
• 4.3 实验结果与分析
• 4.3.1 评价指标
• 4.3.2 实验结果
• 4.3.3 结果分析
• 4.4 本章小结
• 第五章 总结与展望
• 5.1 工作总结
• 5.2 工作展望
• 参考文献
• 致谢
• 附录A （攻读学位期间发表论文目录）
• 附录B （攻读学位期间参加研究项目）