基于内容的音频匹配研究

论文摘要

随着多媒体技术和互联网的发展,数字化的音乐音频的数据量急剧增多,如何对音乐音频信息进行快速准确的分析显得日益迫切。当前音乐信息的分析与检索还是基于文本标签信息为主,这需要繁重的人工代价,且极易出现错误而影响结果。与此同时,基于内容的音乐信息分析检索技术正蓬勃发展,其重点是如何使计算机能够像人一样能够理解、分析音乐中所包含的丰富内容。本文从京剧音乐音频的匹配问题展开,根据音乐特征的音色信息,提出了一个提取音频音色序列的方法,以音色序列的形式再现音频数据。而音色序列包含了音乐音频的听觉感受信息,采用基于时间序列技术的音色序列匹配方法,解决音频间的匹配问题。通过分析发声体发声机理以及不同音色的音频特征间的差异与联系,本文引入了音频的音色分布度量,从整体上分析音频信号在音色上的特征。利用发声过程的特性和京剧音频的特点,提出了一个结合高斯混合模型与隐马尔可夫模型技术的音色序列提取方法。在音乐音频匹配方面,结合声音音色的听觉感受和时间序列的相似性度量,引入京剧音乐音频片段的音色序列相似性度量。在匹配过程时,音频片段的时间长度不尽相同,为了解决不同时长音频的匹配问题,本文提出基于滑动窗口技术的音频匹配算法框架。以此建立了一个京剧音乐音频匹配系统,在该系统中,可以使用不同的音频信号特征提取方式,选取不同的时间序列相似性度量,实现快速灵活的音频片段匹配。实验结果表明,以该算法来进行音频片段匹配速度快、可控性好、反应延迟小；对原始查询音频片段的部分缺失问题及噪音所造成的影响来说,均具有很好的鲁棒性。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景及意义
• 1.2 国内外研究现状
• 1.2.1 表示级别音频分析
• 1.2.2 语义级别音频分析
• 1.3 本文的研究内容
• 第二章 京剧音频的特征提取与分类
• 2.1 声音的听觉特性
• 2.2 音频的特征提取
• 2.2.1 时域特征
• 2.2.2 频域特征
• 2.2.3 倒谱特征
• 2.2.4 音调特征
• 2.3 特征的分类
• 2.4 音频特征提取及分类试验
• 2.4.1 预处理
• 2.4.2 提取特征
• 2.4.3 分类结果及分析
• 第三章 音频的音色序列提取
• 3.1 短时音色特征
• 3.2 音频片段的音色序列
• 3.2.1 隐马尔可夫模型
• 3.2.2 提取音色序列模型
• 3.3 音色序列分析
• 3.4 音色序列提取实验结果及讨论
• 3.4.1 评价标准
• 3.4.2 实验结果及分析
• 第四章 基于音色序列的音频匹配
• 4.1 时间序列的匹配
• 4.1.1 时间序列的相似性
• 4.1.2 时间序列的变形及噪音问题
• 4.1.3 时间序列的相似性度量
• 4.2 音色序列的匹配研究
• 4.2.1 定长音色序列的匹配问题
• 4.2.2 基于滑动窗口的音色序列匹配
• 4.3 音频匹配实验结果及讨论
• 4.3.1 系统功能和机构设计
• 4.3.2 实验评测
• 第五章 结论和展望
• 参考文献
• 致谢
• 附录1:作者攻读硕士学位期间发表的论文