基于图像码流的视频混合器的设计与实现

论文摘要

视频混合器为视频会议的参与者提供多画面视频合成的服务,是视频会议系统中的一个关键组成部分。一直以来,视频混合器一般由专用硬件来实现。本文针对带宽及服务器资源受限的中低端应用场景,设计并实现了一种软件化的视频混合器,并对其性能进行了测试。在对资源受限的应用场景的需求分析的基础上,本文提出了基于图像码流的软件视频混合系统的框架。本文提出的视频混合系统框架主要由混合器、帧同步器和传输控制模块三个部分组成。在混合器中,通过对图像码流的特征字节的提取获取图像的属性以及图像的熵编码字节流,并以图像片拼接的方式完成多画面视频的组合。避免了在服务器端对图像的编解码操作,以此减轻服务器的计算负担;在帧同步器中,通过对接收到的RTP报文中的时间戳信息对不同发送者的视频画面进行同步;在传输控制模块中,使用冗余编码对视频流进行保护,在发生丢包的时候采用后一分组中的冗余信息对前一分组进行恢复。在实现部分,本文首先描述了图像预处理过程,给出了通过JPEG2000码流截断操作修改输入图像分辨率的方法和通过特征提取获得的图像码流类的结构;然后在图像片拼接部分,给出了通过画布尺寸计算、图像片索引计算和负载合成操作拼接图像片的流程;最后描述了通过RTP发送和接收视频数据的过程。本文通过使用Java Media Framework提供的应用程序接口对基于码流的视频混合器进行了实现,并在当前主流配置的服务器平台下对其性能进行了测试。测试结果表明,基于码流的视频混合器在处理视频混合任务时能以较低的CPU的占用率完成视频混合任务,取得了较好的效果。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 课题背景
• 1.2 视频会议系统概述
• 1.2.1 视频会议系统的组成
• 1.2.2 视频混合器概述
• 1.2.3 视频混合器国内外研究现状分析
• 1.3 本文的主要工作
• 1.4 论文结构
• 第2 章 基于码流的视频混合器设计
• 2.1 资源受限用户视频会议应用需求分析
• 2.1.1 用户需求描述
• 2.1.2 用户需求分析
• 2.2 视频混合系统总体设计
• 2.2.1 视频会议中的视频编码
• 2.2.2 视频会议应用中图像布局特点分析
• 2.2.3 视频图像混合原理分析
• 2.2.4 视频混合器构建方案选择
• 2.2.5 视频混合系统框架设计
• 2.3 基于码流的视频混合器详细设计
• 2.3.1 JPEG2000 图像码流结构分析
• 2.3.2 视频混合方法设计
• 2.3.3 混合器设计
• 2.3.4 视频同步处理
• 2.3.5 丢包及误码处理
• 2.3.6 多用户需求处理
• 2.4 小结
• 第3 章 多媒体会议中视频混合器实现
• 3.1 JAVA MEDIA FRAMEWORK 介绍
• 3.2 图像码流预处理
• 3.2.1 分辨率调整
• 3.2.2 码流特征提取
• 3.3 图像片拼接
• 3.3.1 画布尺寸计算
• 3.3.2 图像片索引计算和负载合成
• 3.4 数据发送与接收
• 3.4.1 视频会议中的多媒体实时传输
• 3.4.2 实时传输流格式分析
• 3.4.3 数据源对象
• 3.4.4 数据发送与接收过程
• 3.5 小结
• 第4 章 混合器性能测试与分析
• 4.1 测试平台
• 4.2 测试用例
• 4.2.1 CPU 占用测试用例
• 4.2.2 混合图像带宽占用测试用例
• 4.3 测试结果与分析
• 4.4 小结
• 结束语
• 一.总结
• 二.展望
• 参考文献
• 致谢
• 附录 A 攻读学位期间所发表的论文