视频镜头分割技术与基于内容的视频检索系统研究

论文摘要

随着多媒体和计算机网络技术的飞速发展,数字和视频的容量正以惊人的速度增长。如何有效的组织、管理和利用这些视频数据具有重要的意义,这使得基于内容的视频检索成为现在多媒体领域最活跃的研究热点。但是到目前为止,基于内容的视频检索还存在很多问有待解决。目前国内外已经开发出多种图像、视频数据检索系统,如QIBC、WebSEEk、VisualSEEk、MARS、JACOB、Necra、PHOTOBOOK、VIRAGE、VidooSTAR等等。这些系统虽然大多没有成为商用化系统,但也反映了图像、视频数据检索系统研究的主要成果。国内的清华大学、国防科技大学、微软亚洲研究院、中科院等机构也进行了一定研究,并取得了一定成果,实现了一些改进算法和实验系统。但要真正做到视频结构化的分析,实现基于内容的视频检索,为用户提供更方便的使用环境,还需要做很多理论和实践工作。镜头分割是视频处理的第一步,是随后的高层内容分析、分类、索引和查询的基础。镜头分割的准确性将直接影响到后续处理的效果。因此,本文针对突变和渐变的特点,实现了一种基于帧间差值和非相邻帧间差值的自适应实时镜头检测方法。方法通过计算相邻帧间差值有效地检测突变镜头,通过计算非相邻帧间差值实现对渐变镜头的有效检测,二者结合可检测出几乎所有的突变镜头和渐变镜头,获得了良好的综合检测效果。另外,本文还提出一种基于直方图技术和关键帧技术的视频检索的方法,它的关键技术就是把一段视频中所有帧分别聚类成镜头、场景和故事单元,并得到分层显示的结构图。用户要想在视频库中检索某个视频帧或者某个镜头,采用的方法是自上而下的视频分析法,而不是传统的逐帧查找。允许先从视频的最上层即故事单元开始检索,先找到所要查找的图像所在的故事单元,然后找到场景、镜头,从镜头中找到所需要的视频帧。这种技术的优越性是克服了以往检索技术的盲目性,把目标直接定位在场景层上,从而大大缩短了检索时间,提高了检索效率。本文分为三个部分。第一部分论述了基于内容的视频检索的研究现状和本课题所做的主要工作。第二部分主要介绍了本文开发的一个基于帧间差值和非相邻帧间差值的自适应实时镜头检测方法;在直方图基础上引入了分区直方图的方法,将视频图象的空间特性反映出来,改善了镜头分割的效果。第三部分主要介绍了本文提出一种基于内容的视频检索系统。最后总结了本文的研究内容及对下一步工作的展望。

论文目录

• 摘要
• ABSTRACT
• 符号说明
• 第一章 前言
• 1.1 课题背景
• 1.2 国内外研究的现状
• 1.3 研究的问题
• 第二章 数字视频结构
• 2.1 数字视频
• 2.1.1 视频信号组成
• 2.1.2 视频镜头的转换方式
• 2.1.3 固定的视频镜头和运动的视频镜头
• 2.2 视频的层次化结构
• 2.3 视频中的运动分析
• 2.4 关键帧技术
• 第三章 视频镜头分割技术
• 3.1 视频镜头的检测
• 3.2 特征提取
• 3.3 镜头聚类
• 3.4 基于帧间差值与非相邻帧间差值的镜头检测方法
• 3.4.1 镜头检测系统结构
• 3.4.2 特征的选取
• 3.4.3 帧间差值与非相邻帧间差值的计算
• 3.4.4 镜头检测
• 3.4.5 综合判决方案
• 第四章 基于内容的视频检索系统研究
• 4.1 基于内容的视频检索系统的基本结构
• 4.2 视频检索的结构分析
• 4.3 聚类算法
• 4.3.1 聚类算法综述
• 4.3.2 K均值算法
• 4.3.3 自适应聚类算法
• 4.4 分割技术
• 4.4.1 场景边界探测
• 4.4.2 镜头聚类
• 4.5 本论文算法描述
• 4.5.1 基本思路
• 4.5.2 计算机模拟的部分流程图
• 结束语
• 参考文献
• 致谢
• 学位论文评阅及答辩情况表