本体支持的视频情报分析方法与技术研究

论文摘要

信息化与全球化时代视频情报大量涌现并在战略决策中发挥重要作用,研究如何从大量视频情报中获取有价值信息已成为必然,而其核心在于分析获取视频情报包含的语义内容。语义鸿沟的存在使得视频情报语义内容分析面临巨大困难,严重制约了视频情报应用。本文的研究旨在解决上述问题。本文首先建立了视频情报分析体系,指明了视频情报分析需要解决的核心问题——视频情报语义内容分析,进而提出本体支持的视频情报语义内容分析框架。重点研究了该框架下的视频情报低层语义内容抽取、视频情报高层语义内容分析等关键问题,并设计与实现了本体支持的视频情报分析平台(VIAPO, Video Intelligence Analysis Platform using Ontology)。论文的主要贡献体现在以下几个方面:一、提出了视频情报分析的概念体系和技术体系。在概念体系中明确了视频情报分析的概念、任务和层次结构;在技术体系中提出了视频情报分析技术的体系结构以及关键技术。二、提出了本体支持的视频情报语义内容分析框架。定义了视频情报感知概念、元概念、高层概念(元概念和高层概念统称为视频情报概念),将视频情报内容抽象为上述概念以及概念间关系的集合;指明了视频情报感知概念、视频情报概念及其关系的抽象与本体理论的本质联系,提出了本体支持的视频情报知识基础构建方法;提出了紧密结合领域知识、分层跨域语义鸿沟的视频情报分析方法。三、提出了基于颜色空间互信息度量和PetriNet模型的镜头探测方法,提高了渐变镜头的探测准确率;提出基于机器学习的视频情报感知概念探测方法。视频情报感知概念的探测需要对大量高维低层感知特征样本数据进行自动分析处理,从中发现有意义的模式,机器学习是解决这一类问题的有效方法。本文分别采用支持向量机、条件随机域、高斯混合模型等机器学习方法来分类识别重要的音频概念、视觉对象概念和运动类型概念,提高了视频情报感知概念的探测准确率。四、提出了本体支持的视频情报高层语义分析方法。视频情报高层语义分析包括两个方面:视频情报概念探测和视频情报检索。针对以往基于内容的方法的缺陷,提出了本体支持的元概念探测方法,在感知概念探测的基础上,融合低层感知特征和上下文语义信息探测元概念。区别于以往基于内容的方法以及简单线性加权的融合模型,本文提出了基于贝叶斯网络模型的高层概念探测方法,通过贝叶斯网络建模高层概念与低层概念的关联以探测高层概念,提高了视频情报概念探测的性能。针对视频情报检索个性化的需求,提出了基于概念合成PetriNet的视频情报查询描述模型,通过PetriNet模型描述概念之间的时序关系,自定义的建模用户查询语义,满足了用户个性化的视频情报检索需求。五、设计实现了本体支持的视频情报分析平台VIAPO,验证了本体支持的视频情报语义内容分析框架和相关方法的有效性,以及平台在情报分析中的应用效果,为视频情报分析提出了一条可行的解决思路。综上所述,本文提出了视频情报分析体系以及本体支持的视频情报语义内容分析框架,深入研究了视频情报语义内容分析技术,完整的实现了视频情报从低层语义抽取到高层语义概念探测的全过程,有效的解决了视频情报分析面临的语义鸿沟难题。本文的研究不仅为视频情报分析建立了一定的理论和实践基础,同时也将对视频语义内容分析技术产生积极影响。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 问题的提出
• 1.2 研究目的和意义
• 1.3 国内外研究现状
• 1.3.1 情报领域研究现状
• 1.3.2 视频语义内容分析技术研究现状
• 1.3.3 研究现状总结
• 1.4 本文的研究思路和主要工作
• 1.4.1 研究思路
• 1.4.2 主要工作
• 1.5 论文的内容安排
• 第二章 视频情报分析体系
• 2.1 视频情报分析的概念体系
• 2.1.1 视频情报分析的概念
• 2.1.2 视频情报分析的任务
• 2.1.3 视频情报分析的层次结构
• 2.2 视频情报分析的技术体系
• 2.2.1 视频情报分析技术的体系结构
• 2.2.2 视频情报分析的关键技术
• 2.3 本章小结
• 第三章 本体支持的视频情报语义内容分析框架
• 3.1 视频情报内容层次结构模型
• 3.2 视频情报分析知识基础构建
• 3.2.1 本体简介
• 3.2.2 视频情报领域知识建模——视频情报领域知识本体
• 3.2.3 视频情报语义内容建模——视频情报概念扩展本体
• 3.2.4 视频情报分析技术建模——视频情报分析本体
• 3.3 跨越语义鸿沟的视频情报语义内容分析方法
• 3.4 本章小结
• 第四章 视频情报低层语义内容抽取
• 4.1 预备知识
• 4.1.1 统计学习理论与支持向量机
• 4.1.2 条件随机域
• 4.1.3 高斯混合模型
• 4.2 视频情报结构分析
• 4.2.1 视频的结构
• 4.2.2 镜头探测
• 4.2.3 子镜头分割与关键帧抽取
• 4.3 视频情报感知概念探测
• 4.3.1 基于支持向量机的音频概念探测
• 4.3.2 基于条件随机域的视觉对象概念探测
• 4.3.3 运动概念探测
• 4.4 实验结果与讨论
• 4.4.1 视频结构分析实验
• 4.4.2 音频概念探测实验
• 4.4.3 视觉对象概念探测实验
• 4.4.4 运动概念探测实验
• 4.5 本章小结
• 第五章 本体支持的视频情报高层语义内容分析
• 5.1 视频情报概念探测
• 5.1.1 元概念探测
• 5.1.2 高层概念探测
• 5.2 基于概念合成PetriNet 的视频情报查询描述模型
• 5.2.1 视频情报查询描述模型分析
• 5.2.2 基于概念合成PetriNet 的视频情报查询模型定义
• 5.2.3 基于ConceptCPN 模型的查询描述
• 5.3 实验结果与讨论
• 5.3.1 元概念探测实验
• 5.3.2 高层概念探测实验
• 5.3.3 ConceptCPN 查询描述模型应用实验
• 5.4 本章小结
• 第六章 本体支持的视频情报分析平台的设计与实现
• 6.1 背景
• 6.2 VIAPO 平台的设计
• 6.2.1 VIAPO 平台的设计思路
• 6.2.2 VIAPO 平台的总体结构
• 6.3 VIAPO 平台的实现
• 6.3.1 视频情报知识基础构建
• 6.3.2 视频情报低层语义抽取子平台的实现
• 6.3.3 视频情报高层语义分析子平台的实现
• 6.3.4 视频情报检索子平台的实现
• 6.4 VIAPO 平台应用验证
• 6.5 本章小节
• 第七章 结束语
• 7.1 本文的主要贡献
• 7.2 进一步的研究方向
• 致谢
• 参考文献
• 作者在学期间取得的学术成果
• 作者在学期间参加的科研项目和获得的奖励