基于内容的MP3音乐检索研究和实现

论文摘要

基于内容的音乐检索就是把音乐本身的内涵,如节奏、旋律、和弦、伴奏音型、音色等,作为查询条件,对一个由不同格式的音频媒体(如MIDI、MP3或其它格式的波形音乐)所构成的音乐数据库实施查询检索以获取数据库中满足查询条件或包含相同或相似音乐片段的音乐资源。这些表征不同音乐内涵的查询条件可以通过哼唱或借助现有的乐谱输入工具输入到检索系统中以实施检索。本论文对基于内容的MP3音乐检索技术进行了研究,并实现了一个灵活的具有多种查询音乐输入方式的MP3音乐检索原型系统。目前,大部分基于内容的音乐检索系统所检索的对象都是MIDI音乐,对MP3音乐检索的研究相对来说比较少,并且查询音乐的输入方式也大都比较单一。鉴于不同的用户具备不同的音乐素养及拥有不同的查询音乐资源,本论文提出了在MP3音乐检索系统中引入多种查询音乐输入方式,包括五线谱输入方式、类简谱输入方式、哼唱输入方式、单音色且单声部的MP3音乐文件输入方式和多声部的MP3音乐文件输入方式。而由于当前对波形音乐的音高辨识技术的研究还不够成熟,且用户在哼唱输入时对音准和旋律节奏也并非能准确把握,这都使得系统最终获得的查询旋律特征与用户所期望的查询旋律会存在一定的差距,自然影响到检索的准确性。为此,本论文还提出通过多种交互手段使用户可以根据自己的音乐能力来判断和校正系统所获取的音乐旋律特征,以进一步提高检索的准确性和增强系统的可用性。在检索匹配多声部MP3音乐数据库的实现技术上,本论文针对单音色、单声部音乐和多声部音乐这两种类型的查询音乐的不同特点分别使用了不同的匹配方法。对于前者,本论文提出了一种包含休止符归并和长音分段的二次规整匹配新算法,并通过原型系统进行了实验模拟分析,证明了该算法的有效性。对于后者,本论文将Jeremy(2004)提出的基于和声模型的多声部MIDI音乐检索多声部MIDI音乐数据库的技术推广到使用多声部MP3音乐片段检索多声部MP3音乐数据库,分别构建了HMM和声模型和Markov和声模型两种检索模型,实验结果表明这两个模型都具有一定的实用价值。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究目的及意义
• 1.2 相关的工作
• 1.2.1 针对音乐类数据的检索
• 1.2.2 针对一般音频数据的检索
• 1.3 关键技术
• 1.4 本论文研究的主要内容和创新点
• 1.4.1 问题的提出
• 1.4.2 研究内容
• 1.4.3 主要创新点和特色
• 1.5 论文的结构
• 第二章 MP3音乐格式分析和旋律特征抽取
• 2.1 MP3的音乐格式分析及编解码算法
• 2.1.1 MPEG概述
• 2.1.2 MP3编码原理
• 2.1.3 MP3帧格式
• 2.1.4 MP3解码算法
• 2.2 旋律特征提取
• 2.2.1 小波低通滤波
• 2.2.2 基频提取分析和音符识别
• 2.2.2.1 FFT变换
• 2.2.2.2 频谱分析和基频提取
• 2.2.2.3 音高名识别和多声部音乐的旋律特征表示
• 2.2.3 人声哼唱和其它单声部波形音乐的旋律特征抽取
• 2.3 本章小结
• 第三章 单声部音乐检索的二次规整匹配算法
• 3.1 类简谱
• 3.1.1 类简谱音高序列
• 3.1.2 类简谱音长序列
• 3.2 单声部查询音乐的类简谱表示
• 3.2.1 类简谱查询向量
• 3.2.2 五线谱输入的类简谱查询向量表示
• 3.3 检索和匹配过程
• 3.3.1 设计思想
• 3.3.2 具体算法
• 3.4 本章小结
• 第四章 多声部音乐检索的和声模型
• 4.1 Markov模型和隐Markov模型简介
• 4.1.1 Markov模型
• 4.1.2 隐Markov模型的基本概念和定义
• 4.1.3 隐Markov模型的三个基本问题
• 4.1.4 隐Markov模型的基本算法
• 4.1.4.1 前向-后向算法
• 4.1.4.2 Viterbi算法
• 4.2 和弦特征
• 4.2.1 和声和和弦的基本概念
• 4.2.2 和弦词典
• 4.2.3 和声判定和共时向量
• 4.3 HMM和声模型
• 4.3.1 HMM和声模型的定义
• 4.3.2 HMM和声模型的训练
• 4.3.2.1 π和A的初始化
• 4.3.2.2 B的初始化
• 4.3.3 查询检索
• 4.4 Markov和声模型
• 4.4.1 部分观察
• 4.4.2 Markov和声模型的训练
• 4.4.3 查询检索
• 4.5 本章小结
• 第五章 系统设计与实现
• 5.1 系统结构设计
• 5.2 输入查询处理模块
• 5.2.1 五线谱输入方式
• 5.2.2 直接类简谱输入方式
• 5.2.3 哼唱输入方式
• 5.2.4 单声部MP3音乐文件（或波形文件）输入方式
• 5.2.5 多声部MP3音乐文件（或波形文件）输入方式
• 5.3 实验及结果分析
• 5.3.1 五线谱和直接类简谱输入查询
• 5.3.2 哼唱输入查询
• 5.3.3 单音色、单声部的非哼唱音乐输入查询
• 5.3.4 多声部音乐检索的和声模型
• 5.4 本章小结
• 第六章 总结与展望
• 6.1 全文总结
• 6.2 今后的工作
• 附录
• 参考文献
• 攻读硕士学位期间发表的论文
• 致谢