融合多模式信息特定音频检索技术研究

论文摘要

随着数字媒体技术的发展,越来越多的人能够更加方便地接触到数字媒体。多媒体检索的目的是从大量的多媒体资源中自动地查找与用户查询请求相关的各种多媒体信息。电视媒体是信息传播和休闲娱乐的主流平台,而电视广告占总媒体投资中的70%的份额。因此给用户提供准确实时的广告检索具有很大的应用前景。由于融合多模式信息的方法充分考虑了广告中的视频和音频两种媒体,并且数字指纹技术能够很好的解决广告检索中准确性和实时性的难题,因此本论文主要针对广告检索中关键技术的难题开展了深入系统的研究。本文在对现有的方法分析的基础上,主要取得以下研究成果:1.提出一种快速的音频指纹提取方法。针对广告音频,对音频数据按帧进行傅立叶变换获取频域信息,提取每帧感知最相关的频带信息,将这些频带平分为33等分,并提取相邻两帧相邻频带的差异作为指纹值,每帧提32个0/1值。实验表明,该方法具有快速准确的特点,速度比Jaap Haitsma的方法快30倍,比Jin S. Seo的方法快3倍,能够满足实时的要求。对有目的的攻击,准确性比Jaap Haitsma和Jin S. Seo的方法有显著的提高。2.提出一种融合多模式信息特定音频检索方法。通过结合音视频指纹对特定音频进行检索。采用对音视频指纹加权的方式进行结合,充分考虑到音频指纹的准确性,并利用视频指纹弱化“静音”广告的影响,与单一的指纹方法相比,检索结果更加准确,阈值自适用性有所提高。3.建立一个融合多模式信息特定音频检索系统。将视频指纹和音频指纹方法结合起来,通过多线程编程,建立一个融合多模式信息的特定音频检索系统。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景及研究意义
• 1.2 研究现状
• 1.2.1 音频指纹技术研究现状
• 1.2.2 基于内容的音频检索研究现状
• 1.2.3 融合多模式信息音频检索研究现状
• 1.3 本文的研究内容和结构安排
• 第2章 相关背景知识介绍
• 2.1 相关知识介绍
• 2.1.1 音频
• 2.1.2 临界频带
• 2.1.3 窗函数
• 2.1.4 傅立叶变换
• 2.1.5 音频特征
• 2.1.6 MPEG 标准
• 2.2 指纹算法介绍
• 2.2.1 HFM 算法
• 2.2.2 NSM 算法
• 2.3 本章小结
• 第3章 音频指纹提取算法
• 3.1 概述
• 3.2 算法框架
• 3.3 音频指纹提取算法
• 3.4 实验与讨论
• 3.4.1 实验条件
• 3.4.2 实验评价标准
• 3.4.3 FSFM 与HFM 的比较
• 3.4.4 FSFM 与NSM 时间比较
• 3.4.5 FSFM 与ABM 时间比较
• 3.5 本章小结
• 第4章 融合多模式信息特定音频检索及系统实现
• 4.1 概述
• 4.2 融合多模式信息检索框架
• 4.3 融合多模式信息特定音频检索
• 4.3.1 MPEG 标准的系统部分
• 4.3.2 多线程处理
• 4.3.3 融合多模式信息特定音频检索
• 4.4 实验与讨论
• 4.4.1 实验数据
• 4.4.2 结果与分析
• 4.5 系统实现
• 4.5.1 系统结构
• 4.5.2 融合多模式信息特定音频检索系统的人机界面及功能
• 4.6 本章小结
• 第5章 结论和展望
• 5.1 结论
• 5.2 展望
• 参考文献
• 致谢
• 附录A （攻读硕士学位期间参与的项目及投发的论文）