基于内容的新闻镜头分类技术研究

论文摘要

随着网络和计算机技术的高速发展,多媒体信息,特别是数字视频越来越多的进入人们的生活。如何对视频信息有效管理和利用,是摆在人们面前的重要课题。因此,在理解视频内容的基础上,建立视频的索引、浏览和检索等应用系统,提供给用户方便的视频内容获取方式就成为研究人员努力的方向。镜头作为视频中的结构单元,既可分割成为图像帧,也可组合构造成故事单元,因此在视频内容分析技术中,对镜头进行分析具有十分重要的作用。对视频中的镜头进行有效的分类,一方面,可以极大地缩短低层视觉特征与高层语义特征之间的“语义鸿沟”;另一方面,镜头分类还是视频摘要、索引、检索等视频管理和应用技术重要的支持和保证,具有十分重要的现实意义。新闻视频是内容结构性比较强的视频类型,本文针对新闻视频,设计了一种基于内容的镜头分类方法。该方法将新闻视频中的镜头分为主持人、记者、独白、广告、静态图像以及“其他”六个类型。其中,“其他”指新闻视频中除去另五类镜头后剩余的镜头。主持人、广告、静态图像和“其他”这四类镜头,根据其自身特点逐一检测。记者和独白镜头在新闻视频中是最难以区分的,为此,本文利用一种机器学习方法——条件随机场,将记者和独白镜头的分类转化为序列标注问题,并进行了实验,得到了不错的效果。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题介绍与研究背景
• 1.1.1 课题的意义
• 1.1.2 视频内容分析研究的发展
• 1.2 新闻视频的结构化特征
• 1.3 作者工作及论文安排
• 第二章 镜头边界检测
• 2.1 镜头的相关概念
• 2.2 镜头边界检测算法综述
• 2.2.1 基于像素的方法
• 2.2.2 基于直方图的方法
• 2.2.3 基于块匹配的方法
• 2.2.4 基于边缘的方法
• 2.2.5 针对压缩视频的算法
• 2.2.6 其它方法
• 2.3 改进的双阈值镜头边界检测方法
• 2.4 实验结果及分析
• 2.5 本章小结
• 第三章 条件随机场
• 3.1 序列标记问题
• 3.2 隐马尔可夫模型
• 3.3 最大熵马尔可夫模型
• 3.4 条件随机场（CRFs）
• 3.4.1 条件随机场的基本概念
• 3.4.2 三种模型的比较
• 3.4.3 CRFs参数的选取
• 3.4.4 CRFs模型的训练与标注
• 3.5 本章小结
• 第四章 基于内容的新闻镜头分类
• 4.1 相关的研究工作
• 4.2 基于内容的新闻视频镜头分类
• 4.2.1 广告镜头检测
• 4.2.2 “其他”类镜头的检测
• 4.2.3 静态图像类镜头的检测
• 4.2.4 主持人镜头的检测
• 4.2.5 基于CRFs的新闻独白镜头检测
• 4.2.6 CRFs工具的使用
• 4.3 实验结果分析
• 4.4 本章小结
• 第五章 全文总结
• 参考文献
• 发表论文和参加科研情况说明
• 致谢