家用视频内容分析方法研究

论文摘要

随着便携式电子记录设备的普及，越来越多的家庭用户开始使用这些设备来记录有意义的生活经历和日常生活片断，家用视频的数据量呈现出快速增长的趋势。但是，家用视频具有视觉和声音质量较差、内容没有经过编辑等特点。为了实现对家用视频内容的自动、有效的组织和管理，减轻普通家庭用户浏览、检索和共享视频内容的负担，视频内容分析已经成为家用视频领域一个重要的研究课题。对家用视频内容分析方法进行研究，不仅能为家庭用户提供个性化的多媒体服务，而且有助于推动视频领域的语义建模、机器学习和信息检索等相关课题的发展。由此可见，家用视频内容分析方法研究具有重要的理论和应用价值。 本论文从三个不同层次研究了家用视频内容分析中的关键问题，即质量评估、内容理解和内容表征，目标是实现一个自动理解、表征和浏览的家用视频处理系统。由于家用视频视觉质量较差的特点，为实现对家用视频内容的过滤，质量评估成为内容分析的一个基本步骤，处于最底层。内容理解主要解决对视频内容中的语义概念进行建模，处于比质量评估更高的层次。而内容表征则是基于质量评估和内容理解的结果，对家用视频内容以最紧凑和有效的方式进行表征；作为家用视频的一种应用，它处于最高层。这三个层次组成了家用视频内容分析的一个相对完整的框架。本文对家用视频内容分析方法进行了深入的研究，取得了以下成果： (1) 对于质量评估问题，针对目前家用视频领域缺乏专门的视觉质量评估方法这一现状，提出了一个全新的、面向家用视频的时空质量评估方法，并深入研究了影响整体视觉质量的几个关键时空因素以及这些因素和整体视觉质量的内在关系。与传统的基于单帧图像的质量评估方法不同的是，采用子镜头这种视频时序结构单元作为质量评估的基本单位。在子镜头上分析了一组影响视觉质量的时空因素，包括不稳定性、骤动性、失真性、模糊性、亮度性和方向性，并提出三种方法将这些时空因素融合到整体视觉质量的评估准则中，分别是基于用户研究、基于规则和基于学习的方法。为实现对视频内容的过滤，提出了一个可扩展的、基于视觉质量的家用视频摘要系统，目的是在保证视频摘要信息性的同时，保证其视觉质量最优。与基于用户注意力的视频摘要系统的对比实验表明，本文提出的基于质量的视频摘要系统对家用视频具有更好的适用性。 (2) 对于内容理解问题，从“用户拍摄意图”这一全新的角度来研究家用视频内容分析方法，并参考心理学上的意图产生机制，建立了对用户拍摄意图进行建模和挖掘的完整的理论和系统框架。首先，基于心理学上的意图机制和广泛的用户研究实验，定义了一组用户拍摄意图的概念，包括“静态场景”、“动态事件”、“特写画面”、“美丽风景”、“转换记录”、“长时间记录”和“随意记录”等。提出了一个对用

论文目录

• 摘要
• Abstract
• 目录
• 插图目录
• 表格目录
• 第一章 绪论
• 1.1 基于内容的视频检索
• 1.2 家用视频内容分析方法的研究意义
• 1.3 家用视频内容分析的关键问题
• 1.4 本文的主要工作
• 1.5 本文的主要创新点
• 1.6 本文的结构安排
• 第二章 国内外研究现状和工作基础
• 2.1 家用视频的质量评估
• 2.2 家用视频的内容理解
• 2.2.1 家用视频内容的结构化、摘要和创作
• 2.2.2 用户意图的建模
• 2.3 家用视频的内容表征
• 第三章 家用视频的结构分析
• 3.1 家用视频的镜头检测
• 3.1.1 基于时间戳信息的镜头检测
• 3.1.2 基于颜色特征的镜头检测
• 3.2 家用视频的子镜头检测和分类
• 第四章 家用视频的视觉质量评估
• 4.1 家用视频的结构分解
• 4.2 影响家用视频视觉质量的时空因素分析
• 4.2.1 时域因素分析
• 4.2.2 空域因素分析
• 4.3 家用视频的视觉质量评估方法
• 4.3.1 基于用户研究的方法
• 4.3.2 基于规则的方法
• 4.3.3 基于学习的方法
• 4.4 视觉质量评估在家用视频摘要中的应用
• 4.5 实验结果和评估
• 4.5.1 基于注意力的视频摘要
• 4.5.2 实验数据
• 4.5.3 实验评估
• 4.6 小结
• 第五章 基于用户意图的家用视频内容理解
• 5.1 用户意图的建模
• 5.2 用户意图的挖掘
• 5.2.1 视频结构分解
• 5.2.2 用户意图的特征分析
• 5.2.3 用户意图的分割
• 5.2.4 用户意图的分类
• 5.3 基于用户意图的家用视频浏览
• 5.4 实验结果和评估
• 5.4.1 实验数据
• 5.4.2 意图标注
• 5.4.3 客观评价
• 5.4.4 主观评价
• 5.5 小结
• 第六章 基于视频相册的家用视频内容表征和浏览
• 6.1 视频相册的系统框架
• 6.2 视频相册的生成
• 6.2.1 缩略图的挑选
• 6.2.2 基于关键帧和全拼图的缩略图表征
• 6.2.3 视频相册的版式模板
• 6.2.4 视频相册的形状模板
• 6.3 视频相册的浏览和检索
• 6.3.1 基于自训练形状模板的缩略图轮廓定位
• 6.3.2 基于透视变换的缩略图形状重建
• 6.4 实验结果
• 6.4.1 全拼图实验结果
• 6.4.2 视频相册的生成和检索结果
• 6.5 小结
• 第七章 结论
• 7.1 本文总结
• 7.2 研究工作展望
• 参考文献
• 致谢
• 攻读博士学位期间的研究成果