音乐节拍实时跟踪系统的研究及应用

论文摘要

随着计算机技术的发展,计算机的应用不断渗入人们生产生活的各个方面。音乐作为一种表达人们思想感情、反映现实生活的不可缺少的一门艺术,已越来越受到计算机学者们的关注。将计算机应用于音乐领域,能够极大地丰富音乐的表现力,具有极其广阔的应用前景。增强现实技术是近几年来计算机技术中研究的一个热点,其核心思想是将计算机产生的虚拟物体与真实场景结合,达到虚实融合的目的,这是计算机视觉所研究的问题之一。如何更有效的将音乐信息应用到计算机技术的增强现实环境中是一个新颖的问题,比如可以通过识别音乐的节拍来驱动虚拟现实环境中的虚拟物体。这就产生了音乐节拍跟踪的概念。音乐节拍跟踪是指人们在听音乐时不由自主的跟着节拍拍手或跺脚的一个过程。当前,音乐节拍实时跟踪问题面临多方面的挑战。其一,真实的节奏值并不确定,只能根据人的感觉,尽力接近人对音乐的感知。这对人来说是一件极其容易的事,而对计算机而言,则是一项极具挑战性的工作。其二,人的标注结果的获取也存在一定的困难。其三,评价方法也存在多方面的困难。首先,虽然已有很多人提出评价方法,但是并没有达成共识,从而没有一个统一的标准,因为不同的算法之间,他们的输入输出数据的表达形式可能不同,而且应用也不同；其次,很多研究者所用数据集都是私有的,而且数据量非常小,这也会造成算法之间比较的困难；最后,处理音乐类型及复杂程度的不同也导致了评价的困难。以往的节拍跟踪算法大都具有局限性,因此本文提出一种基于小波的音乐节拍实时跟踪算法,能实时检测出乐曲的节拍值及节拍点的具体位置,并利用MIREX 2006中的评价方法将我们的结果与MIREX 2006提供的结果进行比较,实验结果表明,我们的算法在确保正确度的同时提高了时间上的性能,其他算法都是非实时的,而我们的算法是实时的。此外,我们将节拍跟踪算法应用到增强现实环境中。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 研究背景
• 1.2 国内外相关研究
• 1.3 本文的主要内容和贡献
• 1.4 本文的组织结构
• 第2章 预备知识
• 2.1 乐理知识
• 2.1.1 音乐的主观量
• 2.1.1.1 音调
• 2.1.1.2 响度
• 2.1.1.3 音色
• 2.1.2 音乐的节拍
• 2.2 音乐信号的分析方法
• 2.2.1 傅立叶变换
• 2.2.2 小波变换
• 2.2.3 小波变换与傅立叶变换的比较
• 第3章 音乐节拍跟踪
• 3.1 总体介绍
• 3.2 实时音乐节拍跟踪
• 3.2.1 预处理
• 3.2.2 小波变换
• 3.2.3 峰值检测
• 3.2.4 构建直方图
• 3.2.5 实时性
• 3.2.6 节拍点位置的确定
• 3.3 实验
• 3.3.1 实验数据
• 3.3.2 评判标准
• 3.3.3 实验结果
• 第4章 系统实现及应用
• 4.1 声音部分的实现
• 4.1.1 DirectSound介绍
• 4.1.2 录音的实现
• 4.1.3 播放的实现
• 4.2 应用
• 4.2.1 坐标变换
• 4.2.2 基于音乐节拍的物体驱动
• 4.2.3 实验结果
• 第5章 总结与展望
• 参考文献
• 致谢
• 攻读学位期间参与科研项目
• 学位论文评阅及答辩情况表