基于内容的多层次语义视频对象提取技术研究

基于内容的多层次语义视频对象提取技术研究

论文摘要

近年来,随着视频信号的压缩、传输和存储等方面技术的迅速发展,引发了基于内容的视频分析的研究热潮,人们对多媒体信息的需求也从简单的播放转向了以基于内容的访问、检索和操作为特征的交互式视频服务、娱乐视频应用以及各种媒体的视频点播等。由于MPEG-4和MPEG-7等标准的提出,理解和提取语义视频对象成为一个视频压缩、检索等领域中非常重要的一个研究方向。尽管利用各种区域特征进行图片分割的研究已经取得了很大成效,但从众多视频资源中提取语义视频对象,建立具有健壮性的多层次的语义视频树还是一个亟待研究的课题。但由于特征和语义之间并不存在一一匹配的关系,传统视频内容分析方法带来了语义鸿沟问题。如何利用现有的视频分割提取及内容分析技术,建立合理有效且更加具有一般性的语义视频信息描述模型,提出基于具体模型和内容的多层次语义视频对象提取算法是本文的主要工作。本文的主要思路是:首先在前期的研究基础上,对语义视频信息描述模型进行研究和探讨,提出一种基于内容的多层次语义视频对象描述模型,进而基于该语义视频对象提取结构框图设计和实现了一个足球视频对象提取算法。主要工作包括如下几个方面:在语义视频对象描述与分析方面,本文在分析了基于结构建模和基于内容建模的传统语义视频对象描述模型及改进的视频语义信息层次化描述模型基础上,提出了一种适用于足球视频信息检测的多层次语义视频对象描述模型。在语义视频对象提取方面,本文在提出的描述模型的基础上进一步提出了一个基于内容的多层次语义视频对象提取结构框图,并设计了基于多层次语义视频对象提取算法。算法具体如下:首先进行镜头边缘检测,利用光流法在一段连续的视频序列中提取关键帧。然后用高斯马尔可夫模型对其进行颜色和纹理的混合特征进行图像分割。用Normalize-cut准则,对其运动信息进行分析,分离背景,最后进行区域聚合,即得到具有语义的视频对象。本算法对于背景运动信息较丰富的序列图像取得良好的提取效果。最后,论文还研究和预测了该技术在视频会议、视频对象监控的应用前景,并结合国家863高科技项目需求,开发出了一套“基于宽带网络的流媒体信息检测与内容监控”系统,并将具体的算法应用于系统中。

论文目录

  • 摘要
  • ABSTRACT
  • 第一章 绪论
  • 1.1 研究背景
  • 1.2 语义视频对象提取技术的发展及研究现状
  • 1.2.1 MPEG-4 视频标准的关键技术
  • 1.2.2 语义视频对象提取技术的发展
  • 1.2.3 语义视频对象提取技术的难题
  • 1.2.4 语义视频对象提取技术的研究现状
  • 1.3 论文的内容结构和安排
  • 第二章 视频对象分析技术基础
  • 2.1 基础数学及随机过程知识
  • 2.1.1 马尔可夫随机场模型
  • 2.1.2 最大似然估计
  • 2.1.3 EM 算法
  • 2.1.4 Normalize-cut 准则
  • 2.2 静态图像处理技术
  • 2.2.1 图像的基本描述
  • 2.2.2 标记与邻域
  • 2.3 边缘检测
  • 2.4 图像分割
  • 2.5 本章小结
  • 第三章 基于内容的多层次语义视频对象分割及提取技术研究
  • 3.1 语义视频对象在MPEG 标准中的描述
  • 3.2 现有的语义视频对象分割技术
  • 3.2.1 基于时域的视频对象分割
  • 3.2.2 基于时域空域结合的视频对象分割
  • 3.2.3 基于分解运动信息的视频对象分割
  • 3.3 基于内容的多层次语义视频对象提取算法
  • 3.3.1 基于镜头的模型
  • 3.3.2 基于对象的模型
  • 3.3.3 基于内容的模型
  • 3.3.4 基于时域空域信息的层次化模型
  • 3.4 基于内容的多层次模型的低层语义信息提取
  • 3.4.1 镜头边缘检测
  • 3.4.2 关键帧提取
  • 3.4.3 视频帧内图像分析
  • 3.4.4 视频帧间运动信息分析
  • 3.4.5 语义视频对象提取
  • 3.5 基于内容的多层次模型的高层语义信息提取
  • 3.5.1 足球视频镜头分类
  • 3.5.2 足球视频对象语义提取
  • 3.5.3 足球视频高层语义判别
  • 3.6 本章小结
  • 第四章 算法在流媒体信息内容监控中的应用
  • 4.1 流媒体监控技术
  • 4.2 算法应用
  • 4.2.1 流媒体视频监控系统
  • 4.2.2 语义视频对象在远程视频监控中的应用
  • 4.3 本章小结
  • 第五章 总结和展望
  • 5.1 论文总结
  • 5.2 技术展望
  • 参考文献
  • 附录1
  • 致谢
  • 攻读硕士学位期间已发表的学术论文目录
  • 相关论文文献

    标签:;  ;  ;  ;  

    基于内容的多层次语义视频对象提取技术研究
    下载Doc文档

    猜你喜欢