基于内容的视频数据库多模式检索方法研究

论文题目: 基于内容的视频数据库多模式检索方法研究

论文类型: 博士论文

论文专业: 通信与信息系统

作者: 吕凝

导师: 陈贺新

关键词: 基于内容,多模式,语义特征,视频检索,主动网络

文献来源: 吉林大学

发表年度: 2005

论文摘要: 本文提出的多模式视频检索方法,是从视频语义特征的角度构建视频数据的语义特征库,将与视频语义相关的声音、字幕、音乐、剧情脚本、新闻文稿等信息特征进行整合,以人像、字幕、语音、视频镜头识别和剧情脚本分析的组合技术,建立视频数据语义特征的多模式提取模型,将语音识别引擎、OCR引擎集成在检索平台中。本文提出应用语音与音乐的临界点为场景的分割点,以说话人音色变化的临界点为镜头的分割点。本文提出的利用剧情脚本中的描述信息与字幕、语音、人像提取的特征匹配的方法,来实现对视频数据诸如人物名称、台词内容、主演人的检索。并根据剧中的代表场次图像帧,利用文献[46]改进的最近特征线法(nearestfeature line,简称NFL)算法对镜头进行基于内容的检索具有一定的创新性。在视频数据流描述的模型建立、同期化、压缩及安全机制方面,本文给出了空间性、时间性、描述多样性的基于四维矩阵的运动影像与音频数据的表示形式。把视频流看作是图像与音频数据以一种持续的密切结合的形式组成的数据流整体。这种表示形式提高了数据压缩率和视频(或多媒体)数据库系统及播放系统的QoS。并提出在主动网络体系结构下解决视频数据流的网络安全机制的方法。

论文目录:

提要

第一章概论

1.1 发展历史简述

1.1.1 基于内容的交互性

1.1.2 高压缩率

1.1.3 灵活多样的存取

1.1.4 多媒体内容描述接口

1.2 领域动态

1.2.1 基于内容的图像检索关键技术

1.2.2 基于内容的视频检索技术动态

1.2.3 基于内容的视频检索的国内外研究成果

1.3 研究背景及目的

1.4 本项研究的主要内容

1.5 本论文的构成

第二章视频数据库检索系统框架要点分析

2.1 概述

2.2 视频数据库检索的结构化框架

2.3 视频数据检索

2.3.1 视频数据检索的条件提交方式

2.3.2 检索方法

2.4 视频数据特征的多模式提取方法

2.4.1 视频数据的特征分析

2.4.2 特征提取

第三章视频数据流模型的建立

3.1 概述

3.2 视频数据流描述模型

3.3 语音、视频数据流同步化实现

3.4 基于四维矩阵的视频数据流的表示

3.4.1 四维矩阵中的视频与音频数据定义

3.4.2 四维矩阵的表示处理方法

3.4.2.1 卷积

3.4.2.2 系统框架

第四章视频数据流网络安全机制

4.1 概述

4.1.1 现有的解决方案

4.1.2 解决安全机制的主要工作

4.2 网络安全保障机制设计

4.2.1 基于集群的自动鉴别和控制机制

4.2.1.1 DoS/DDoS 攻击集群的鉴别

4.2.1.2 决定集群的速率限制值

4.2.2 基于集群的主动通告追踪机制

4.2.2.1 决定何时激活过滤器主动通告机制

4.2.2.2 向上游节点发送通告胶囊

4.2.3 基于管理域的控制合作机制

4.3 网络安全保障机制的实现

4.4 性能分析

第五章基于内容的多模式视频数据特征提取与检索方法

5.1 概述

5.2 多模式的视频数据特征提取

5.2.1 基于图像特征的视频特征提取

5.2.1.1 基于字幕的特征提取

5.2.1.2 基于人像的特征提取

5.2.2 基于音频的视频特征提取

5.2.2.1 基于音色的特征提取

5.2.2.2 基于语音的特征提取

5.2.3 基于脚本的特征提取

5.3 多模式的视频数据特征库

5.3.1 基本定义

5.3.2 描述特征关系数据的 XML 发布

5.4 基于内容特征的多模式检索方法

5.4.1 视频语义提取模型

5.4.2 视频语义提取方法

第六章多模式检索系统实验平台及性能评价

6.1 概述

6.2 功能说明

6.3 多模式检索系统实验平台

6.4 性能评价

6.4.1 实时性

6.4.2 可靠性

6.4.3 综合评价

第七章结论与展望

7.1 本论文主要成果

7.2 今后研究的方向

7.3 应用领域的展望

谢辞

参考文献

论文研究期间取得的学术与技术成果

摘要

Abstract

本论文附图索引

本论文附表索引

发布时间: 2005-08-26

参考文献

[1].基于视觉感知的影像质量评价方法研究[D]. 路文.西安电子科技大学2009

基于内容的视频数据库多模式检索方法研究

猜你喜欢