新闻视频故事单元跟踪关键技术研究

论文摘要

新闻报道是信息的重要载体,用户对新闻报道关注的重点是部分特定新闻事件,因此迫切需要能够自动实现基于新闻事件的新闻报道跟踪。目前主要在文本领域开展了新闻报道话题探测与跟踪研究,与文本媒体类型相比,新闻视频面临结构复杂,媒体模态多样等一系列问题,要在不同来源新闻视频中实现新闻事件各个报道内容的跟踪面临很多困难。根据新闻视频结构特点,可以把视频划分为帧、镜头、故事单元、视频四个层次。与新闻事件密切相关的层次是故事单元,因此在新闻视频数据库中研究识别和跟踪报道相同新闻事件故事单元的相关技术成为当前新闻视频研究领域的前沿课题。本文对这个具有重要理论意义和广阔应用前景的课题进行了探索和研究,旨在解决新闻视频故事单元跟踪研究中的部分关键技术,为新闻视频数据库基于新闻事件的信息分析和利用提供可行的解决途径。本文首先建立一个新闻视频故事单元跟踪研究的框架,在此基础上重点研究了故事单元分割、故事单元关联分析、故事单元线程化跟踪等关键技术,通过实验验证了研究的可行性和算法效率。论文的主要贡献体现在以下几个方面:1、提出了新闻视频故事单元跟踪研究的技术框架。首先对研究中涉及的概念和关键术语进行了阐述,然后研究了新闻视频文件和故事单元描述模型,提出了新闻视频数据库的“故事单元空间”表示方式,为开展故事单元跟踪研究提供了理论基础。在此基础上提出了新闻视频故事单元跟踪研究的技术框架,探讨了研究实现的技术途径和部分关键技术,明确了研究的主要任务。2、提出和改进了新闻视频故事单元分割方法。通过对新闻视频故事单元编辑模式的分析,提出了一种有效的视频、音频特征候选分割点选择策略,其中突出研究了自适应的播音员镜头探测方法;同时,研究了不同的集合运算方法来融合分析不同类型的视频特征候选分割点与音频特征候选分割点,对不同来源的新闻视频都可以有效实现故事单元分割。3、提出了新闻视频故事单元关联分析方法。分析了相似关键帧与故事单元关联分析的内在联系及各种领域知识;研究了关联分析子数据库构建策略和局部关键点精减策略,在本质上提高了关键帧匹配分析速度;提出了一种利用局部关键点匹配技术的层次化过滤方法快速有效的识别相似关键帧;提出了基于相似关键帧和关联关系传递性的故事单元关联分析技术。4、提出了新闻视频故事单元“多线程”跟踪方法。为体现新闻事件报道的“多线程”属性,首先提出了一种融合各个语义层次、各种模态信息的故事单元相似度计算方法,方法结合新闻视频和故事单元的描述模型,重点研究了底层视觉特征中的局部特征相似度计算方法、中层语义概念中基于关键帧场景信息的相似度计算方法、高层语义的文本相似度计算方法以及相似度融合方法;在此基础上,研究了图论知识对于故事单元跟踪研究的有效性,提出了利用有向图理论对故事单元之间的相似关系进行“多线程”跟踪的方法。5、设计和实现了一个新闻视频故事单元跟踪系统。详细描述了NStoryThread系统的设计思路和各功能模块,并介绍了原型系统的实现,为研究的应用提供了基础。综上所述,本文的主要研究集中在新闻视频故事单元跟踪系统方法的关键技术上,如:新闻视频故事单元分割、故事单元关联分析和故事单元跟踪等,并对各关键技术进行了实验验证。这些研究不仅对新闻视频的分析和挖掘技术具有积极的影响,同时也对多媒体情报分析技术具有显著的理论和实践意义。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景和意义
• 1.1.1 研究背景
• 1.1.2 研究特点
• 1.1.3 研究意义和应用前景
• 1.2 国内外研究现状
• 1.2.1 新闻视频故事单元分割技术研究现状
• 1.2.2 新闻视频故事单元关联分析技术研究现状
• 1.2.3 新闻视频故事单元线程化跟踪技术研究现状
• 1.2.4 视频分析与检索研究的重要案例
• 1.3 论文的主要工作
• 1.4 论文的组织结构
• 第二章 相关概念与技术框架
• 2.1 相关概念
• 2.2 多层次多模态的新闻视频故事单元描述模型
• 2.2.1 新闻视频的信息多模态属性
• 2.2.2 新闻视频的语义多层次属性
• 2.2.3 新闻视频故事单元描述模型
• 2.3 新闻视频数据库的“故事单元空间”表示
• 2.4 新闻视频故事单元跟踪研究技术框架
• 2.5 本章小结
• 第三章 新闻视频故事单元分割技术研究
• 3.1 新闻视频故事单元编辑和切换模式分析
• 3.2 音频特征候选点分析
• 3.2.1 音频特征分析
• 3.2.2 音频特征候选点分析方法
• 3.3 视频特征候选点分析
• 3.3.1 自适应的播音员镜头探测方法研究
• 3.3.2 视频特征候选点分析方法
• 3.4 多模态特征融合的故事单元分割方法研究
• 3.5 本章算法实验
• 3.5.1 实验数据与评价指标
• 3.5.2 播音员镜头探测算法实验
• 3.5.3 新闻视频故事单元分割算法实验
• 3.6 本章小结
• 第四章 新闻视频故事单元关联分析技术研究
• 4.1 故事单元关联分析与相似关键帧
• 4.2 视频关键帧的局部关键点探测与局部特征描述
• 4.2.1 图像局部关键点探测与局部特征描述的相关研究
• 4.2.2 图像局部关键点探测算法
• 4.2.3 SIFT 特征描述子计算方法
• 4.2.4 基于局部关键点SIFT 特征的图像匹配技术
• 4.3 相似关键帧识别的数据预处理
• 4.3.1 关联分析子数据库构建策略
• 4.3.2 局部关键点精减策略
• 4.4 基于相似关键帧识别的故事单元关联分析方法研究
• 4.4.1 相似关键帧识别方法研究
• 4.4.2 故事单元关联分析方法研究
• 4.5 本章算法实验
• 4.5.1 基于局部关键点精减策略的匹配速度实验
• 4.5.2 相似关键帧识别方法实验
• 4.5.3 故事单元关联分析方法实验
• 4.6 本章小结
• 第五章 新闻视频故事单元跟踪技术研究
• 5.1 新闻事件报道的“多线程”特性
• 5.2 新闻视频故事单元相似度计算方法研究
• 5.2.1 信息检索中的典型模型
• 5.2.2 新闻视频故事单元底层视觉特征相似度计算方法研究
• 5.2.3 新闻视频故事单元中层语义概念相似度计算方法研究
• 5.2.4 新闻视频故事单元高层语义相似度计算方法研究
• 5.2.5 新闻视频故事单元相似度融合计算方法研究
• 5.3 新闻视频故事单元“多线程”跟踪方法研究
• 5.3.1 新闻视频故事单元相似关系与图论
• 5.3.2 新闻视频故事单元基于有向图的“多线程”跟踪
• 5.4 本章算法实验
• 5.5 本章小结
• 第六章 NStoryThread 系统的设计与实现
• 6.1 任务背景
• 6.2 新闻视频故事单元跟踪系统NStoryThread 的设计
• 6.2.1 系统设计思路
• 6.2.2 系统总体结构
• 6.2.3 系统各模块功能设计
• 6.2.4 数据库设计
• 6.3 系统实现
• 6.3.1 新闻视频结构分析模块的实现
• 6.3.2 新闻视频故事单元关联分析模块的实现
• 6.3.3 新闻视频故事单元跟踪模块的实现
• 6.4 NStoryThread 系统的特点
• 6.5 本章小结
• 第七章 总结与展望
• 7.1 论文的主要贡献
• 7.2 进一步的工作
• 致谢
• 参考文献
• 作者在学期间取得的学术成果