视频点播系统中的视频检索研究

论文摘要

视频点播（Video on Demand,VOD）是一种基于流媒体技术而实现的网络多媒体应用,多年来受到视频领域学者们的广泛关注。在点播系统中,用户希望以自适应的方式消费视频媒体,在任何时间、任何地点、以任意的方式消费视频媒体。基于内容的视频检索（content based video retrieval,CBVR）对于满足点播系统的用户需求有着突出的作用。然而,传统基于内容的视频检索方法存在着一定的缺陷,难以取得理想的效果。其中主要的问题是,以视频片段作为查询输入的查询方式难以普遍满足用户个性化的需求;检索系统中提取的视频特征相关性差,通用性不足,难以准确概括用户所需要的语义信息。图像分割是视频语义提取的一项关键技术,本文提出一种用于视频检索的图像分割方法。利用给定的示例图像感兴趣区域的色彩信息,估计待分割图像前景和背景的色彩统计模型,对每个像素计算其与前景/背景的相似性,结合目标前景的直方图匹配以及自然分割的对比度描述,得出图像分割框架进行优化求解。由于对待分割图像的每个像素进行了色彩似然性的刻画,所以能够克服光照变化、前景色块比例变化、前景尺寸变化等因素对分割准确性的影响。试验结果表明,与仅考虑直方图匹配的分割方法相比,本方法具有更好的普适性,能够有效地用于视频检索系统。在关键帧分割算法的基础上,提出一种用于视频点播系统的视频检索方法,用户提交单帧图片中的感兴趣部分作为查询输入,服务器据此对存储的视频摘要的关键帧数据进行分割,判断帧数据与查询图片的相似性,并将结果返回给用户选择播放。用户查询输入可以来自影片的海报宣传画、影片花絮镜头等等,由于仅对用户感兴趣的部分进行处理,所以对背景（非感兴趣区域）的色彩无须约束。试验结果表明此方法能够准确定位到用户期望的查询结果,在检索所需源视频的同时,检索到查询输入的相关同类视频,适用于视频点播系统。现有视频检索系统中对于视频的特征提取多采用低级特征（如颜色、纹理等）,通用性不足,难以得到理想的的检索效果。本文提出一种基于尺度不变特征（scale-invariant feature transform,SIFT）的视频检索方法,用户提交单帧图片中的感兴趣部分作为查询输入,利用区域内部的尺度不变特征点,得到查询输入与目录服务器中视频摘要片断的数据帧之间特征点的匹配,在此基础上提出一种视频排序方法,对用户查询的视频数据进行定位和播放。试验结果表明该方法能够准确的找到查询输入的源视频与相关同类视频,不受前景目标旋转、尺度变换的影响,对光照条件的变化不敏感,可以有效应用于视频点播系统。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 视频点播系统
• 1.2 基于内容的视频检索
• 1.3 本文的主要工作和结构安排
• 第2章 基于内容的视频检索
• 2.1 视频结构分析
• 2.1.1 基本概念
• 2.1.2 视频分割
• 2.1.3 场景检测
• 2.1.4 关键帧提取
• 2.2 视频摘要（Video Abstraction）
• 2.2.1 视频摘要的基本概念
• 2.2.2 视频摘要的分类
• 2.2.3 视频概要的实现技术
• 2.2.4 缩略视频的实现技术
• 2.3 视频特征提取
• 2.3.1 颜色特征
• 2.3.2 纹理特征
• 2.3.3 形状特征
• 2.3.4 摄像机运动特征
• 2.3.5 视频的运动分析
• 2.4 视频语义信息提取
• 2.4.1 语义视频对象平面的分割技术
• 2.4.2 语义视频对象的跟踪技术
• 2.4.3 视频语义信息提取和描述技术
• 2.5 视频帧之间的相似性度量
• 2.6 基于内容的视频检索的评价指标
• 第3章 基于图像分割的视频语义提取方法
• 3.1 图像分割方法
• 3.1.1 图像分割定义
• 3.1.2 图像分割的一般过程
• 3.1.3 彩色图像分割的常用算法
• 3.2 基于直方图匹配的共分割（Co-Segmentation）算法
• 3.2.1 图切分与图像分割
• 3.2.2 最小割最大流（min-cut/max-flow）图切分算法
• 3.2.3 置信域图切分（trust region graph cuts,TRGC）优化方法
• 3.2.4 分割框架
• 3.2.5 共分割（Co-Segmentation）算法分割结果示例
• 3.3 面向视频检索的改进图像分割算法
• 3.3.1 Co-Seg分割算法应用于视频检索的不足之处
• 3.3.2 分割算法改进思路
• 3.3.3 基于各像素色彩能量项的分割框架
• 3.4 试验及分析
• 3.5 本章小结
• 第4章 应用于视频点播系统的视频检索方法
• 4.1 传统基于视频片段的视频检索方式
• 4.1.1 基于视频片段的视频检索流程
• 4.1.2 基于视频片段的视频检索方式的不足
• 4.2 基于用户感兴趣区域的视频检索方法
• 4.2.1 感兴趣区域检索方式的优越性
• 4.2.2 用户感兴趣区域的视频检索及VOD系统
• 4.2.3 感兴趣区域视频检索的实现方法
• 4.2.3.1 关键帧分割
• 4.2.3.2 直方图距离度量
• 4.2.3.3 视频检索排序
• 4.3 试验及分析
• 4.4 本章小结
• 第5章 基于尺度不变特征的视频特征提取及视频检索
• 5.1 引言
• 5.2 基于尺度不变特征的视频检索流程
• 5.3 尺度不变特征变换（SIFT）
• 5.3.1 尺度空间极值点初步检测
• 5.3.2 关键点精确定位
• 5.3.3 方向选择
• 5.3.4 局部图像描述
• 5.4 SIFT特征匹配
• 5.5 SIFT特征匹配的优越性
• 5.6 视频匹配度量
• 5.7 结合色彩能量项的关键帧分割与SIFT特征匹配的视频检索方法
• 5.8 试验及分析
• 5.8.1 基于SIFT特征的视频检索的试验结果及分析
• 5.8.2 色彩能量项分割与SIFT特征匹配相结合检索方法的改进试验
• 5.9 本章小结
• 第6章 结束语
• 6.1 本文创新点
• 6.2 今后工作展望
• 参考文献
• 致谢
• 博士期间发表的学术论文