基于内容的音频检索的关键技术研究

论文摘要

近年来,随着多媒体技术以及网络技术的迅速发展,网络上的信息资源日益丰富,信息检索技术产生了深刻的变革。人们已经不再满足于传统的基于文本的检索,而是需要一种能对视频、图像、音频等各种媒体进行快速检索的引擎。基于内容的音频检索技术（Content-Based Audio Retrieval:CBAR）应运而生。它从音频中直接提取语义线索,根据语义线索进行检索,从而把检索过程与媒体的语义直接联系在一起,使检索工作更加有效,适应性更强。本文首先介绍了CBAR的技术背景和发展过程;然后阐述了一个成功有效的CBAR应用的多种关键技术并提出了对现有音频分割分类方法的改进算法;同时给出了检索实验结果及分析;最后指出了系统的不足和未来的发展研究方向。稳健有效的音频分割与分类是系统检索的前提条件。传统的基于特征阈值的分割与分类方法采用相对简单的特征和前人的经验值,处理的分类问题比较单一。同时,特征阈值的选取也比较困难。本文采用基于高斯模型的分割算法,并给出一种新特征Mel-ICA,改进了该算法。该方法不需要采集样本,根据特征变化点来进行分割,取得了良好的分割结果。本文还给出一种基于阈值和模型的组合分类方法,结合了这两种方法的优点,同时采用小波变换和傅里叶变换提取音频特征,提高了分类的准确度。音频的特征和描述是系统的关键。本文结合采用时域、频域和时频域分析方法,从不同角度刻画音频信号的实质,构成音频信号的描述算子。音频检索采用示例音频查询方式（QBE）,先使用最小生成树（MST）聚类方法形成关键帧,然后对同类型帧进行匹配比较,减少了计算的强度,大大提高了检索效率。实验结果表明本文方法能够较好地进行音频检索,取得了较好的性能。最后总结了本文的工作,并提出进一步的研究探索方向。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 引言
• 1.2 CBAR 的发展和研究现状
• 1.3 本论文研究的内容和方法
• 1.4 本文内容安排
• 第二章 音频数据分析
• 2.1 主流音频文件格式介绍
• 2.1.1 声音文件
• 2.1.2 MIDI
• 2.1.3 模块文件
• 2.2 音频处理技术与特征提取
• 2.2.1 时域特征
• 2.2.2 频域特征
• 2.2.3 时频特征
• 2.3 本章小结
• 第三章 音频分割与识别分类
• 3.1 基于特征阈值的音频分割与分类算法
• 3.1.1 音频分层分割与分类算法
• 3.1.2 双模式的分割与分类算法
• 3.2 基于模型的音频分割与分类
• 3.2.1 基于HMM 的说话者分割与分类
• 3.2.2 基于高斯模型的音频分割算法
• 3.2.3 音频分割算法改进及实验结果
• 3.3 一种基于特征阈值和模型的组合分类方法
• 3.3.1 基于特征阈值的初始分类
• 3.3.2 采用SVM 对语音进一步分类
• 3.3.3 实验结果与分析
• 3.4 本章小结
• 第四章 基于内容的音频检索技术研究
• 4.1 音频特征的相似度模型
• 4.1.1 闵氏距离
• 4.1.2 马氏距离
• 4.1.3 余弦距离
• 4.1.4 非几何的相似度方法
• 4.2 哼唱音乐检索
• 4.2.1 音调跟踪
• 4.2.2 检索引擎
• 4.3 示例音频检索
• 4.3.1 基于分类模型的检索算法
• 4.3.2 基于音频模板的算法实现
• 4.4 本章小结
• 第五章 CBAR 系统设计与实验分析
• 5.1 系统设计概要
• 5.2 CBAR 系统模块与库结构
• 5.3 系统开发平台和界面
• 5.4 实验结果分析
• 5.5 本章小结
• 第六章 总结与展望
• 致谢
• 参考文献
• 在读期间发表论文