音频场景分析与识别方法研究

论文摘要

作为人们感知外界环境的一个重要通道,听觉在视线障碍、不利光照条件等情况中可起到视觉无法替代的作用,是视觉的重要补充。相比于图像数据,音频信号往往可使用相对简单的设备进行采集并且占用更少的存储空间和处理时间。随着当前移动平台计算能力的不断提高,出现了越来越多基于音频的各类应用,所涉及的音频处理算法一直是相关研究领域的重点。其中,提取、分析和有效利用音频数据所携带的语义信息,对基于内容的多媒体检索、摘要以及开发上下文自适应的应用等具有重要意义。本文工作主要针对基于自然场景的音频特征对其进行自动识别与分类。给定采集于某一未知场景的音频数据,本文方法对该音频样本对应的可能场景类型进行分类,具体分为两个步骤：1)抽取和构造刻画音频数据样本本质属性的音频特征集合,包括反映声音不同频段听觉特性的Mel频率倒谱系数(MFCC)特征、伪语义特征、基于信号小波包分解的特征学习与选择(如局部判别基LDB和boosting)等。2)构造合适的音频场景模型并在其基础上对音频样本进行分类,其中分别考察或提出了针对音频场景的混合高斯模型、层次隐马尔可夫模型和随机森林模型。论文对三类模型的特点、组成及其分类方法进行了详细的描述,介绍了模型中对场景与其中音效关系的不同表示形式。针对论文中提出的不同音频特征与场景模型,本文通过在测试数据集上的大量实验分析、比较了不同方法的性能。实验所用数据集部分来自互联网上收集的音频样本,另一部分截取自电视电影视频节目中包含的音频流,共包括21类音效和10类场景。实验结果表明,文中提出的特征选择和场景分类方法是有效的,取得了较高的音频场景识别率。论文最后对已有工作进行了总结,并对进一步研究的主要方向和思路进行了讨论和展望。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题背景
• 1.2 本文研究工作
• 1.3 论文结构
• 第2章 音频分析与识别研究
• 2.1 引言
• 2.2 音频摘要
• 2.3 声音分类和识别
• 2.4 音频场景感知
• 2.5 本章小结
• 第3章 音频特征提取
• 3.1 引言
• 3.2 Mel频率倒谱系数音频特征
• 3.3 基于小波包分解的音频特征学习与提取
• 3.3.1 音频小波包分解
• 3.3.2 LDB算法
• 3.3.3 基于boosting的特征选择
• 3.3.4 基于随机森林的特征选择
• 3.4 基于词典的音频特征
• 3.5 Pseudo-Semantic特征
• 3.6 本章小结
• 第4章 音频场景建模与分类
• 4.1 引言
• 4.2 音频场景建模
• 4.3 基于HMM的音频场景分类
• 4.3.1 概率图模型
• 4.3.2 HMM模型
• 4.3.3 使用HMM模型进行音频场景分类
• 4.4 基于高斯混合模型的音频场景分类
• 4.4.1 高斯混合模型
• 4.4.2 使用高斯混合模型进行音频场景分类
• 4.5 基于随机森林的音频场景分类
• 4.5.1 随机森林模型
• 4.5.2 使用随机森林进行音频场景分类
• 4.6 本章小结
• 第5章 实验结果
• 5.1 实验数据
• 5.2 基于HMM的分类
• 5.2.1 基于场景HMM的音频场景分类
• 5.2.2 基于音效和场景HMM的音频场景分类
• 5.3 基于随机森林的分类
• 5.3.1 直接使用场景数据分类
• 5.3.2 利用音效提取音频伪语义特征建模
• 5.4 基于高斯混合模型的分类
• 5.5 分类方法结果对比
• 5.6 本章小结
• 第6章 结束语
• 6.1 本文成果
• 6.2 未来展望
• 致谢
• 参考文献
• 附录
• 附录A 攻读硕士学位期间参加的科研项目
• 附录B 攻读硕士学位期间发表的学术论文