论文题目: 基于内容的视频检索语义提取若干问题研究
论文类型: 博士论文
论文专业: 控制科学与工程
作者: 史迎春
导师: 周献中
关键词: 基于内容的视频检索,语义提取,模式分类,文本信息提取,事件辨识,对象识别
文献来源: 南京理工大学
发表年度: 2005
论文摘要: 视频信息分类检索是多媒体研究领域中的重要课题。对海量的非结构化的视频数据如何有效组织、表达、管理、查询和检索,使用户能够快速得到所需要的视频信息,日益成为人们的迫切需要。传统的视频信息检索方案因不能自动、客观、全面地概括视频的内容,已越来越不能满足信息技术发展的需要。20世纪90年代开始的基于内容的视频检索CBVR(Content-based Video Retrieval)的研究,因尚未有效“填平”视频低层特征和高层抽象概念之间存在的“语义鸿沟”(Semantic Gap),使得目前CBVR还难以适用于普通用户。进一步说,目前基于内容的视频检索的语义处理理论和技术仍有大量问题有待深入研究。 由此,本文对基于内容的视频检索语义信息提取过程中的若干问题进行了探讨。总体思路是:首先对视频语义处理理论框架进行设计和分析;然后在此基础上对语义处理技术进行具体研究;进而针对不同的视频内容提出若干语义信息提取的算法;最后设计开发一个基于语义的视频分析检索原型系统。 取得的主要成果及创新点是: 1、为解决“语义鸿沟”这一关键且基础性问题,提出了一个多层次的面向对象的视频语义描述模型,并在此基础上架构了一种基于多种语义来源的语义提取框架,为后续视频语义处理技术的研究提供理论指导。 2、以体育视频为主要研究对象,对基于模式分类的视频语义处理技术进行了研究,主要包括: (1)通过对球类比赛进行主色确定、场地分割,提取场地颜色、纹理、空间比例、运动纹理及摄像机短时运动等特征,在此基础上用ICA和SVM对各种球类运动进行特征优化和分类,取得了较好的效果。 (2)针对足球视频,根据其制作的特点,分别提出了基于图像颜色和空间特征并结合先验知识的镜头分类算法、基于慢镜头制作模式及帧差序列分析的慢镜头检测算法及基于场地线提取分析的禁区场景辨识算法等,进而根据足球视频编辑模式对射门等足球比赛精彩事件进行了辨识,均取得了较好的实验效果。 (3)针对摄像机运动问题,根据运动模式短时一致假设,提出了一种基于视频短时时空切片结构张量分析的摄像机运动定性分析方法,收到较好的效果。 (4)针对WIPE镜头编辑检测问题,从分析数据、结构元定义、能量计算、定位方
论文目录:
1 绪论
1.1 研究背景
1.2 视频数据的特点
1.2.1 数字视频有巨大的数据量
1.2.2 数字视频数据有复杂的结构
1.2.3 数字视频数据含有丰富的信息
1.3 基于内容的视频检索与国际标准MPEG-7的相互关系
1.4 基于内容的视频检索研究现状及存在的主要问题
1.4.1 基于内容的视频检索研究现状
1.4.2 技术难点及存在的问题
1.5 本文的章节安排和主要研究内容
2 视频语义处理理论框架
2.1 引言
2.2 视频层次化语义的描述
2.3 视频语义的提取
2.3.1 基于知识的语义提取
2.3.2 人机交互语义提取
2.3.3 利用外部信息源的语义提取
2.4 本章小结
3 基于模式分类的视频语义处理技术
3.1 引言
3.2 体育视频的语义分析
3.2.1 体育视频节目分类
3.2.2 足球视频的语义分析
3.3 摄像机运动分类
3.3.1 基于时空切片的摄像机运动模式分析
3.3.2 基于结构张量的摄像机运动模式描述
3.3.3 实验及结果
3.4 视频WIPE特效镜头剪辑检测
3.4.1 基于时空切片边缘分析的WIPE检测算法原理
3.4.2 WIPE检测算法流程
3.4.3 实验及结果
3.5 本章小结
4 基于文本信息提取的视频语义处理技术
4.1 引言
4.2 视频字幕自动检测、定位和提取
4.2.1 基于时空分布特征的字幕检测
4.2.2 基于多尺度小波变换和SVM的字幕检测
4.2.3 综合有师学习和时空分布特征的字幕检测
4.2.4 基于匹配跟踪的滚动字幕检测
4.3 语音检测、定位和提取
4.3.1 特征分析
4.3.2 算法分析
4.3.3 实验结果
4.4 电视台台标识别
4.4.1 算法原理分析及实现
4.4.2 实验及结果分析
4.5 本章小结
5 基于语义的视频检索原型系统设计和实现
5.1 引言
5.2 原型系统总体结构
5.3 新闻视频语义内容分析检索子系统
5.3.1 新闻视频的结构化分段
5.3.2 新闻视频的语义索引
5.3.3 新闻视频数据库结构和管理
5.3.4 基于语义内容的新闻视频检索
5.3.5 小结
5.4 体育视频语义内容分析检索子系统
5.4.1 体育视频语义分段及索引
5.4.2 体育视频数据库结构和管理
5.4.3 基于语义内容的体育视频检索
5.4.4 小结
6 结束语
致谢
攻读博士学位期间发表(录用)的论文
参考文献
发布时间: 2005-09-12
参考文献
- [1].基于内容的视频检索和浏览的关键技术[D]. 智敏.北京邮电大学2006
- [2].视频点播系统中的视频检索研究[D]. 闫君飞.中国科学技术大学2008
- [3].数字电视的视频分析与组播传输[D]. 刘阳.中国科学院研究生院（软件研究所）2003