基于内容的海量音乐检索技术研究

论文摘要

随着数据存储能力的增加和传输技术的发展,数字音乐的数量呈现前所未有的增长。然而,这种爆炸式的增长使得在如此巨大的音乐数据库中查找感兴趣的音乐片段变得越来越困难。最近几年,这种窘境已经促使大量的研究人员把研究重点放在如何快速准确地从海量音乐数据库中检索出需要的音乐歌曲。本文主要研究基于内容的海量音乐检索中的两个技术：基于哼唱的音乐检索和基于样例的音乐检索,并对音乐检索中的一个关键技术,即快速索引查找技术,进行深入的研究,本文的主要工作和创新点包括以下几个方面：1)提出了局部对齐哼唱检索算法在哼唱检索中,哼唱片段通常被看作某首歌曲的一个子片段,因此哼唱检索可以看作一个子序列匹配的问题,即在音乐库中查找与哼唱片段最相似的子片段。但是,由于哼唱错误频繁发生,一般只有部分片段准确匹配,因此,哼唱片段中只有部分子片段与音乐库中的某个子片段能够实现较好的匹配。为了找到最相似的子片段,本文提出了局部对齐的框架,其目标是在哼唱片段和歌曲库片段中找到最相似的公共子片段。采用此算法,哼唱片段中的严重哼唱错误会被丢弃,避免了哼唱错误带来的负面影响,提高了哼唱检索的准确率。2)提出了基于音符和基频的两层局域敏感哈希哼唱检索算法以往的哼唱检索技术使用基于基频的局域敏感哈希(Locality Sensitive Hashing, LSH)算法提高检索速度,本文提出了一种基于音符的LSH检索算法,能够提高候选片段的召回率,再使用更准确的重音移位迭代对齐算法可以提高哼唱检索的准确率。同时考虑到海量数据下哼唱检索的效率问题,本文提出了一种基于置信度的两层LSH滤波检索策略,只有当第一层的基于音符的LSH检索结果不可靠时再使用基于基频的LSH检索给出更准确的结果,使用这种检索策略,显著地降低了哼唱检索系统的平均检索时间。3)提出了基于哼唱速率的多层滤波和渐进式滤波哼唱检索算法在哼唱检索系统中,大部分用户的哼唱速率比较接近原始歌曲的正常速率,因此哼唱速率也是衡量歌曲匹配程度的一个重要因素。基于哼唱速率的不同,本文提出了一种基于哼唱速率的多层滤波检索算法,即先使用原始片段进行搜索,然后对哼唱速率进行不同程度的调整再搜索,此算法有效地提高了哼唱检索的速度。哼唱速率的不同调整程度也体现了歌曲的匹配程度,基于此点的考虑,本文提出了一种哼唱速率融合的渐进式滤波算法：先使用速度快但不精确的算法缩小候选歌曲的搜索范围,再使用速度慢但精确的算法计算候选歌曲的相似度,最后融合哼唱速率得分与其他精确匹配算法得分,并根据融合得分进行排序。哼唱速率提供了歌曲匹配程度的新信息,使用融合策略提高了哼唱检索的准确率。4)提出了基于熵的局域敏感哈希算法和边界扩展局域敏感哈希算法在基于内容的音乐检索研究中,一个关键问题是面向海量数据的快速查找。本文研究了一种当前最流行的快速检索算法：局域敏感哈希算法,在此基础上,提出了两种改进算法：基于熵的LSH算法和边界扩展LSH算法。在原始的LSH算法中,哈希函数的生成并没有考虑实际数据分布,而通常情况下,数据分布是不均匀的,导致某些哈希函数把数据点映射得比较密集,而某些哈希函数把数据点映射得比较稀疏,两者的碰撞概率差异很大。本文基于均匀映射的思想提出了一种基于熵的哈希函数生成方法,使映射之后的数据点大致呈现均匀分布,不同桶中的数据点数目也大致相同。使用LSH算法时,近邻点被映射到相邻桶中的概率通常也很大,因此相邻桶中的点也可能是近邻点,基于此点的考虑,本文提出边界扩展LSH算法扩展每个桶的边界,使得相邻桶之间有共同的区域,每个点有可能被映射到多个桶中,显著地增加了近邻点的碰撞概率。5)提出了基于结构音乐指纹的两层滤波样例检索算法一个好的基于样例的音乐检索系统,不仅需要满足高准确率的要求,还需要满足快速性要求。本文在研究Shazam算法的基础上,提出了一种结构音乐指纹构建方法,使用多个峰值特征点构建音乐指纹,增加指纹的信息量和区分性,显著地提高了检索速度；为了提高检索准确率,使用有选择的两层滤波检索算法筛选更多候选片段,并使用原始峰值特征点计算候选歌曲的相似度。使用本文提出的检索算法,同时提高了基于样例的音乐检索系统的精度和速度。

论文目录

• 摘要
• ABSTRACT
• 目录
• 第一章 绪论
• 1.1 研究意义
• 1.2 研究现状
• 1.3 本文的研究内容和成果
• 1.4 论文的组织结构
• 参考文献
• 第二章 音乐及其信号特征
• 2.1 音乐乐理基础
• 2.1.1 音乐的产生
• 2.1.2 音乐的基本要素
• 2.2 音乐信号的物理特征
• 2.2.1 时域特征
• 2.2.2 频域特征
• 2.2.3 倒谱特征
• 2.3 本章小结
• 参考文献
• 第三章 基于哼唱的音乐检索
• 3.1 概述
• 3.2 特征提取
• 3.2.1 MIDI音乐库主旋律提取
• 3.2.2 哼唱片段基频提取
• 3.2.3 特征后处理
• 3.3 检索匹配算法
• 3.3.1 线性伸缩
• 3.3.2 动态时间规整
• 3.3.3 迭代对齐
• 3.3.4 局域敏感哈希
• 3.3.5 推土机距离
• 3.3.6 字符串对齐
• 3.4 本章小结
• 参考文献
• 第四章 哼唱检索匹配算法
• 4.1 基于音符的LSH检索
• 4.1.1 基于音符的LSH算法
• 4.1.2 基于音符和基频相结合的LSH算法
• 4.1.3 NLSH实验
• 4.1.4 NPLSH实验
• 4.2 边界对齐线性伸缩
• 4.2.1 边界对齐线性伸缩算法
• 4.2.2 BALS实验
• 4.3 重音移位迭代对齐
• 4.3.1 重音移位迭代对齐算法
• 4.3.2 KTRA实验
• 4.4 哼唱速率融合
• 4.4.1 伸缩因子与KTRA融合算法
• 4.4.2 SF与KTRA融合算法实验
• 4.5 局部对齐
• 4.5.1 局部对齐线性伸缩算法
• 4.5.2 局部对齐动态时间规整算法
• 4.5.3 LALS实验
• 4.5.4 LADTW实验
• 4.5.5 不同检索算法实验
• 4.6 本章小结
• 参考文献
• 第五章 基于局域敏感哈希的海量数据检索
• 5.1 局域敏感哈希算法
• 5.1.1 相似性搜索
• 5.1.2 局域敏感哈希算法的发展
• 5.2 基于P稳态分布的局域敏感哈希算法
• 5.2.1 通用的LSH框架
• 5.2.2 基于P稳态分布的LSH算法
• 5.3 基于熵的局域敏感哈希算法
• 5.3.1 哈希映射
• 5.3.2 基于熵的LSH算法
• 5.3.3 参数优化
• 5.3.4 实验结果
• 5.4 边界扩展局域敏感哈希算法
• 5.4.1 边界扩展LSH算法
• 5.4.2 参数优化
• 5.4.3 实验结果
• 5.5 本章小结
• 参考文献
• 第六章 面向海量音乐数据的哼唱检索匹配算法
• 6.1 基于音符和基频的两层LSH检索算法
• 6.1.1 基于音符的LSH索引
• 6.1.2 基于熵的LSH
• 6.1.3 两层LSH滤波检索
• 6.1.4 精确匹配算法
• 6.1.5 实验结果
• 6.2 基于哼唱速率的多层滤波检索算法
• 6.2.1 基于哼唱速率的三层滤波检索
• 6.2.2 检索流程
• 6.2.3 实验结果
• 6.3 基于哼唱速率融合的渐进式滤波算法
• 6.3.1 基于哼唱速率与KTRA融合的渐进式滤波算法
• 6.3.2 实验结果
• 6.4 演示系统
• 6.5 本章小结
• 参考文献
• 第七章 基于样例的音乐检索
• 7.1 概述
• 7.2 Shazam检索算法
• 7.2.1 音乐指纹提取
• 7.2.2 检索匹配算法
• 7.3 PRH检索算法
• 7.3.1 音乐指纹提取
• 7.3.2 检索匹配算法
• 7.4 基于结构音乐指纹的两层滤波检索算法
• 7.4.1 音乐指纹提取
• 7.4.2 两阶段检索匹配算法
• 7.4.3 两层滤波检索算法
• 7.5 实验设定和结果
• 7.5.1 实验数据
• 7.5.2 不同时间间隔实验
• 7.5.3 边界效应实验
• 7.5.4 不同帧移选择实验
• 7.5.5 两层滤波检索实验
• 7.5.6 不同检索算法对比实验
• 7.6 演示系统
• 7.7 本章小结
• 参考文献
• 第八章 总结与展望
• 8.1 论文总结
• 8.2 研究展望
• 博士期间发表的论文
• 博士期间申请的发明专利
• 致谢