海量视频的分布式协作处理与检索研究

海量视频的分布式协作处理与检索研究

论文摘要

随着视频分享网站的迅猛发展,视频的数量在近些年急剧地增加。如何有效地对海量视频进行处理与检索已经成为多媒体应用领域中亟待研究和解决的问题。海量视频的分布式协作处理与检索中存在的主要问题包括:(1)多媒体内容处理中的计算任务与计算资源的协同调度问题,即对任务的资源需求进行预测并匹配合适的计算资源;(2)海量相似视频的快速检索问题;(3)海量视频的快速拷贝检测问题。针对上述问题,本论文的主要研究工作和创新点如下:1.提出了一种面向多媒体内容处理的分布式计算中间件针对多媒体内容处理中的计算任务与计算资源的协同调度问题,设计与实现了一种面向多媒体内容处理的分布式计算中间件。该中间件自动的管理计算资源与计算任务,通过基于极限学习机的执行时间估计算法优化系统的性能。该中间件可以作为一个标准的组件应用于多种多媒体内容制作业务,通过复用该中间件,可以有效地简化分布式环境下实现多媒体内容处理的难度。该中间件已经被应用于一个多媒体内容处理平台,针对渲染、转码和特效合成这3种任务的实验结果表明提出的基于极限学习机的时间估计算法相对于随机负载均衡算法最大完成时间减少26%以上。2.提出了一种基于分布式LSH的海量视频快速检索方法针对海量相似视频的快速检索问题,提出一种基于分布式LSH的海量视频快速检索方法。该方法采用基于内存约束的分布式哈希结构,称为MD-LSH,有效地解决了快速与可扩展性问题。本方法首先从视频序列中提取出特征向量集合,然后使用MD-LSH对高维特征向量建立索引,根据返回的相似帧集合对相关的视频进行相似度计算,最后排序得到相似视频的查询结果。该方法支持在分布式多节点环境下对海量视频进行快速检索,实验结果表明本文的方法查询时间比现有对比方法快4倍以上,同时采用分布式的架构,具有可扩展性。3.提出了一种快速有效的海量视频拷贝检测方法针对海量视频的拷贝检测问题,提出了一种基于SimHash的快速有效的视频拷贝检测方法。该方法首先将视频表示为基于离散余弦变换的时空特征,然后基于SimHash建立鲁棒的压缩签名,通过在多张签名表中进行高效的汉明距离检索完成视频拷贝检测。该方法支持在分布式多节点环境下对海量视频进行快速拷贝检测,针对包含10335个视频,大小为272.48GB的数据集的实验结果表明本文的方法F值达到0.952,平均检索时间比现有对比方法快15.2倍以上。上述研究成果(1)己应用于国家863课题“分布式宽带业务制作协同环境的开发”中的“协同计算与资源调度子系统”中。上述研究成果(2)、成果(3)己应用于国家科技支撑计划课题“增强型搜索系统架构、关键技术及测试规范的研究”中的“增强型搜索系统中多媒体搜索”中。

论文目录

  • 摘要
  • ABSTRACT
  • 目录
  • 图目录
  • 表目录
  • 第1章 绪论
  • 1.1 研究背景及意义
  • 1.2 海量视频处理与检索的关键问题
  • 1.2.1 分布式多媒体内容处理
  • 1.2.2 大规模相似视频检索
  • 1.2.3 大规模视频拷贝检测
  • 1.3 本文研究内容与创新点
  • 1.4 本文组织与结构
  • 第2章 相关技术研究
  • 2.1 多媒体内容制作
  • 2.2 资源管理与任务调度
  • 2.2.1 资源管理与任务调度架构
  • 2.2.2 任务调度过程
  • 2.2.3 任务调度算法
  • 2.2.4 资源管理与任务调度系统
  • 2.3 视频的结构分析
  • 2.3.1 镜头分割
  • 2.3.2 关键帧提取
  • 2.4 视频的特征提取
  • 2.4.1 颜色特征
  • 2.4.2 局部特征
  • 2.4.3 视觉单词
  • 2.5 大规模匹配技术
  • 2.5.1 距离度量
  • 2.5.2 基于树的结构
  • 2.5.3 局部敏感哈希
  • 2.5.4 面向不同距离度量的LSH
  • 2.5.5 基于倒排的索引结构
  • 第3章 面向多媒体内容处理的分布式计算中间件
  • 3.1 分布式宽带业务协同环境
  • 3.2 分布式多媒体内容处理系统框架
  • 3.3 面向多媒体内容处理的分布式计算中间件
  • 3.4 基于ELM的执行时间估计算法
  • 3.5 业务实现
  • 3.5.1 动漫渲染
  • 3.5.2 特效合成
  • 3.5.3 集群转码
  • 3.6 实验结果
  • 3.7 结论
  • 第4章 基于分布式LSH的海量视频快速检索方法
  • 4.1 视频的相似性检索
  • 4.1.1 视频特征表示
  • 4.1.2 视频索引方法
  • 4.2 问题描述与LSH
  • 4.2.1 问题描述
  • 4.2.2 基于p-Stable的LSH
  • 4.3 基于分布式LSH的海量视频快速检索方法
  • 4.3.1 基于分布式LSH的相似视频检索框架
  • 4.3.2 基于内存约束的分布式LSH结构
  • 4.3.3 分布式索引构建算法
  • 4.3.4 相似帧集合查询算法
  • 4.3.5 视频的相似度计算
  • 4.3.6 优化
  • 4.4 实验结果
  • 4.5 结论
  • 第5章 一种快速有效的海量视频拷贝检测方法
  • 5.1 视频拷贝检测
  • 5.1.1 基于水印的拷贝检测
  • 5.1.2 基于内容的拷贝检测
  • 5.2 基于SimHash的视频拷贝检测方法
  • 5.2.1 基于SimHash的视频拷贝检索框架
  • 5.2.2 基于离散余弦变换的时空特征
  • 5.2.3 SimHash签名
  • 5.2.4 视频拷贝查询方法
  • 5.2.5 分布式汉明距离检索
  • 5.3 实验结果
  • 5.4 结论
  • 第6章 总结与展望
  • 6.1 论文工作总结
  • 6.2 研究工作展望
  • 参考文献
  • 致谢
  • 在读期间发表的学术论文与取得的研究成果
  • 相关论文文献

    标签:;  ;  ;  ;  ;  ;  

    海量视频的分布式协作处理与检索研究
    下载Doc文档

    猜你喜欢