基于情感识别的实时交互式音乐可视化研究

论文摘要

随着计算机技术的发展,音乐可视化日益得到研究机构和公司的重视,出现了各种音乐可视化系统。作为一种新的可视化技术,音乐可视化更多地关注音频和图形图像的关系,是跨音乐、数字音频、图形学、图像处理、虚拟现实等领域的又一新的研究方向,在娱乐、教育、艺术和商业中具有广阔的应用前景。首先,阐述了音乐可视化的概念和分类,探讨了音乐可视化的研究内容与国内外研究进展,分析了音乐可视化的应用价值。介绍了音乐的核心概念,阐述了音乐的艺术特点以及表现对象,并着重分析了音乐的情感色彩,总结了调性音程和基本术语的情感色彩,这些成为本课题情感识别的理论基础。其次,音乐的情感色彩是由调性以及该调性下的固定术语决定的,因此,寻求一种高效的调性确定算法成为本文的核心研究内容。通过分析音乐的五度循环理论,提出了螺旋模型,并在此模型的基础上提出了调性确定算法。通过比较现有的形式匹配算法（Shape-MatchingAlgorithm,SMA）和探测音调形式方法（Probe Tone Profile Method,PTPM）,本文提出的算法能更快速地确定音乐的调性,能满足音乐可视化的实时性要求。第三,提出了音乐可视化系统的设计方案,描述了本系统的流程及处理机制。实现了模拟系统,能与音乐的节奏、风格、情感等因素基本上保持一致,取得了较好的效果。最后,对所做的研究与设计工作进行了总结,并阐述了将来进一步的工作计划。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题研究背景
• 1.2 音乐可视化的概念及分类
• 1.2.1 概念
• 1.2.2 分类
• 1.3 音乐可视化的研究进展及应用
• 1.3.1 研究内容
• 1.3.2 研究进展
• 1.3.3 应用
• 1.4 本文研究内容及结构
• 1.4.1 本文研究内容
• 1.4.2 本文结构
• 第二章 音乐的情感分析
• 2.1 音乐的核心概念
• 2.1.1 音高
• 2.1.2 音程
• 2.1.3 和弦
• 2.1.4 调式
• 2.2 音乐的艺术特点及表现对象
• 2.2.1 音乐的艺术特点
• 2.2.2 音乐的表现对象
• 2.3 音乐的情感色彩
• 2.3.1 音乐的表情元素
• 2.3.2 调性音程的情感色彩
• 2.3.3 基本术语的情感色彩
• 2.4 本章小结
• 第三章 螺旋模型及调性确定算法
• 3.1 模型提出的背景
• 3.1.1 调性确定的必要性
• 3.1.2 五度循环的分析与螺旋模型的提出
• 3.2 螺旋模型
• 3.2.1 音高
• 3.2.2 和弦
• 3.2.3 调性
• 3.2.4 模型分析
• 3.2.5 参数设定
• 3.2.6 实验结果
• 3.3 调性确定算法
• 3.3.1 算法描述
• 3.3.2 实验结果与算法比较
• 3.4 本章小结
• 第四章 音乐可视化系统设计与实现
• 4.1 用户接口及系统构架
• 4.2 音乐感知过滤层
• 4.2.1 特征提取
• 4.2.2 特征组织
• 4.3 角色及场景认知层
• 4.3.1 情感检测
• 4.3.2 其它因素的认知
• 4.4 角色及场景表达层
• 4.4.1 将音乐映射到行为
• 4.4.2 动画的实现方法
• 4.5 系统的模拟实现
• 4.5.1 数据结构
• 4.5.2 主要算法
• 4.5.3 模拟结果
• 4.6 本章小结
• 第五章 结论
• 5.1 工作总结
• 5.2 研究展望
• 参考文献
• 致谢
• 攻读硕士期间主要的研究成果