大规模视频库的组织与检索

论文题目: 大规模视频库的组织与检索

论文类型: 博士论文

论文专业: 计算机软件与理论

作者: 施智平

导师: 史忠植

关键词: 视频库,基于内容的视频检索,基于聚类的索引,视频分类,相关反馈,纹理谱,关键帧匹配

文献来源: 中国科学院研究生院（计算技术研究所）

发表年度: 2005

论文摘要: Internet的普及和多媒体技术的发展使人们面临呈爆炸性增长的视觉信息,基于内容的视频检索有着广阔的应用前景,成为非常活跃的研究领域。本文主要针对大规模视频库的组织与检索技术进行研究,目的是实现对海量视频数据的存储、有效组织、快速精确的检索。本文研究内容涉及特征索引方法、视频语义分类方法、相关反馈方法、视频片段的相似度量以及视觉内容特征的表示等问题。取得的主要成果包括:1.基于关键帧序列融合的视频片段检索方法:相似视频片段之间至少有一对关键帧相似,所以首先查找至少有一个相似关键帧的片段作为候选视频片段,然后再计算候选视频片段与范例视频片段的相似度,可以避免无关的视频片段相似度的计算。本文提出用融合多种特征的联合分布直方图来表示视频内容的方法,并使用颜色、纹理联合分布直方图进行视频子镜头分割,子镜头用关键帧表示。检索时,对范例视频片段的每个关键帧检索到相似的关键帧,所有的相似关键帧按照时间连续性融合为视频片段,它们与范例视频片段的关键帧之间形成多对多的匹配关系。删除冗余的关键帧匹配对,形成优化的关键帧匹配序列,然后综合考虑视觉相似性和时间顺序相似性计算整个视频片段的相似性。实验表明本文的方法符合人的视觉特性并有较低的时间复杂度。2.基于语义监督的特征聚类索引方法和基于Bayes的视频语义分类方法:理想的视频库组织方法应该把语义相关并且特征相似的视频的特征向量相邻存储。针对大规模视频库的特点,在语义监督下作视频库低层特征的层次聚类划分,当一个聚类中只包含一个语义类别的视频时,为这个聚类建立索引项,这个聚类称为索引聚类。统计低层特征和高层特征的概率联系,构造Bayes分类器。用分类器可以对其它视频数据作语义分类。查询时对用户的查询范例,用Bayes分类器对查询范例作语义分类,在该语义范围内查询相似视频片段。本文的方法不仅提高了检索速度而且提高了检索的语义敏感度。3.集成低层特征和语义信息的相关反馈方法:提出了一种基于Bayes理论的低层特征和语义信息相结合的相关反馈方法,只用很少的反馈次数就可达到很好的效果。本文认为正反馈和负反馈的低层特征空间都是多个分量的混合高斯分布,以便更准确的估计查询空间的复杂分布,并且把正负反馈样本扩展到样本所在的索引聚类,以这些聚类形成的分类器修正相似距离。同时根据正负反馈样本的语义信息用Bayes方法推测正反馈语义空间和负反馈语义空间,计算数据库样本属于正反馈语义空间和负反馈语义空间的概率,修正视觉相似性,得到语义相近的查询结果。4.一种快速高效的纹理谱描述子:依据纹理视觉特性提出了纹理模式等价类

论文目录:

摘要

Abstract

目录

图目录

表目录

第一章 引言

1.1 研究背景与意义

1.1.1 研究背景

1.1.2 基于内容的视频检索及其关键技术

1.1.3 应用前景

1.2 研究现状概述

1.2.1 基于内容的视频检索

1.2.2 高维索引机制

1.2.3 相关反馈方法

1.2.4 视觉特征的提取与表示

1.2.5 相似性（距离）度量

1.2.6 镜头分割

1.2.7 视频分类

1.2.8 已有视频检索系统

1.2.9 存在的问题

1.3 本文的贡献

1.4 论文的组织

第二章 基于内容的视频片段检索

2.1 引言

2.2 基于联合分布直方图的视频子镜头分割

2.3 子镜头特征提取

2.4 视频片段检索

2.5 实验结果

2.6 本章小结

第三章 基于语义监督的聚类索引方法

3.1 引言

3.2 相关工作

3.2.1 高维索引技术

3.2.2 视频语义分类

3.3 视频数据的语义类别与特征分布

3.4 高斯模型及其EM算法估计

3.4.1 低层特征的高斯混合分布

3.4.2 极大似然(Maximum Likelihood)估计

3.5 语义监督的聚类索引方法

3.6 视频语义分类

3.7 视频检索及其复杂性分析

3.8 实验结果

3.8.1 语义分类实验

3.8.2 近似检索实验

3.9 本章小结

第四章 集成低层特征和语义信息的相关反馈方法

4.1 引言

4.2 相关研究

4.3 Bayes分类器

4.4 基于Bayes分类器的低层特征的相关反馈

4.5 基于Bayes分类器的语义相关反馈

4.6 实验结果

4.7 本章小结

第五章 快速高效的纹理谱描述子

5.1 引言

5.2 基本二值纹理模式

5.3 基于视觉一致性的纹理模式的等价类划分

5.4 纹理谱的特点分析

5.5 基于纹理谱描述子的图象检索实验

5.6 本章小结

第六章 基于内容的图象视频检索系统MIRES

6.1 MIRES系统的框架

6.2 数据库管理子系统

6.3 查询子系统

6.4 本章小结

第七章 结束语

7.1 本文工作总结

7.2 下一步研究方向

参考文献

致谢

作者简历

发布时间: 2006-12-27

参考文献

• [1].运动数据分割及其应用[D]. 袁青.华南理工大学2018
• [2].基于内容的风光记录片检索技术研究[D]. 曹建荣.北京邮电大学2007
• [3].多屏同步三维显示技术的研究和实现[D]. 胡平平.中国电力科学研究院2010
• [4].多媒体语义检索关键问题研究[D]. 孙元.吉林大学2010
• [5].多特征融合视频复制检测关键技术研究[D]. 陈秀新.北京工业大学2013
• [6].基于内容的重排列视频检索技术研究[D]. 刘浏.上海交通大学2013
• [7].基于内容视频检索的镜头检测及场景检测研究[D]. 李玉峰.天津大学2009
• [8].基于内容的视频检索关键技术研究[D]. 肖永良.中南大学2010
• [9].基于自适应关节权重和插值小波的体感动作评价方法研究[D]. 汪成峰.中国农业大学2016
• [10].基于内容的视频检索关键技术研究[D]. 雷少帅.太原理工大学2012

相关论文

• [1].基于内容特征的图像检索和整合性视频检索[D]. 陈添丁.浙江大学2003
• [2].基于内容的视频数据库多模式检索方法研究[D]. 吕凝.吉林大学2005
• [3].基于内容的视频检索语义提取若干问题研究[D]. 史迎春.南京理工大学2005
• [4].基于内容的视频结构化技术的研究[D]. 耿玉亮.北京交通大学2006
• [5].视频流图像内容检索与运动目标检测研究[D]. 于哲舟.吉林大学2007

标签：视频库论文;  基于内容的视频检索论文;  基于聚类的索引论文;  视频分类论文;  相关反馈论文;  纹理谱论文;  关键帧匹配论文;