基于内容的新闻视频静态摘要技术研究

论文摘要

伴随着多媒体技术和网络技术的快速发展,大量的视频信息不断涌现,使得对视频数据的有效管理、浏览和检索成为了亟待解决的问题。与一般的视频数据相比,新闻视频有着特殊的四层结构:视频帧-镜头-故事单元-整个视频。新闻视频的静态摘要技术也因其在视频的浏览、检索和传输方面的应用而受到了广泛地研究。论文首先描述了新闻视频的结构以及视频处理中常用的视觉、音频、文本特征以及压缩域特征。然后简要介绍了镜头边界检测、关键帧提取和故事单元分割三种结构分析技术,其中的关键帧提取技术是静态视频摘要的核心。接着,详细介绍了本文提出的三种新的关键帧提取技术,分别为:基于自适应阈值聚类的方法、基于协方差的方法以及基于条件熵的方法。基于自适应阈值聚类的方法利用图像分割技术中的分水岭算法和Otsu算法来计算自适应的阈值。基于协方差的方法以及基于条件熵的方法则是利用了相邻视频之间存在着高度相关性的特点,尽量减少提取的关键帧之间的冗余。实验结果证明了三种方法的有效性。为了满足不同人群的观看需要,还提出了一种基于分层的静态视频摘要方法,该方法根据人的主观感受来决定提取关键帧的数量。最后实现了一个基于COM架构的静态视频摘要系统。

论文目录

• 中文摘要
• ABSTRACT
• 第一章 绪论
• 1.1 问题的提出
• 1.2 国内外研究现状
• 1.2.1 国外研究情况
• 1.2.2 国内研究情况
• 1.3 论文研究内容及安排
• 第二章 新闻视频特点及常用分析技术
• 2.1 新闻视频的结构特征
• 2.2 新闻视频的特征分析
• 2.2.1 视觉特征
• 2.2.2 音频特征
• 2.2.3 文本特征
• 2.2.4 压缩域特征
• 2.3 新闻视频结构分析
• 2.3.1 镜头边界检测
• 2.3.2 关键帧提取
• 2.3.3 故事单元分割
• 2.4 本章小结
• 第三章 新闻视频静态摘要技术
• 3.1 典型的关键帧提取技术
• 3.2 基于自适应阈值聚类的关键帧提取
• 3.2.1 聚类分析
• 3.2.2 特征提取
• 3.2.3 自适应阈值的选取
• 3.2.4 聚类提取关键帧
• 3.3 基于协方差的关键帧提取
• 3.3.1 随机变量的数字特征
• 3.3.2 算法描述
• 3.4 基于条件熵的关键帧提取
• 3.4.1 信息的度量
• 3.4.2 算法描述
• 3.5 基于分层的新闻视频静态摘要
• 3.5.1 关键帧的合并
• 3.5.2 关键帧的分裂
• 3.6 本章小结
• 第四章 实验结果分析与系统实现
• 4.1 实验结果与分析
• 4.1.1 实验结果评价方法
• 4.1.2 实验分析
• 4.2 系统的实现
• 4.2.1 COM和DirectShow技术简介
• 4.2.2 系统实现
• 4.3 本章小结
• 第五章 总结与展望
• 参考文献
• 发表论文和参加科研情况说明
• 致谢