拟人机器人头部视觉听觉跟踪关键技术研究

论文摘要

视声信息是人类感知环境世界的主要途径,也是拟人机器人视觉和声觉导航的关键技术。利用视觉和声觉技术提高机器人导航能力,是拟人机器人研究的重要内容。机器人视觉和声觉的发展不仅将大大推动智能系统的发展,也将拓宽计算机与各种智能机器的研究范围和应用领域。拟人机器人对目标的跟踪是一个重要的基本需求,本文的主要工作就是融合视觉和听觉来进行跟踪。视觉跟踪方法相对听觉来说比较成熟,声觉还处于研究阶段,所以声觉部分是全文重点,搭建的试验平台也以听觉为主。为了解决本文环境为有背景噪声的局限性,本文采用二次小波分解全局阈值消噪方法。该方法以小波变换为基本理论,应用阈值方法进行消噪处理,不同于传统方法的地方在于它对信号的高频部分做了二次分解。试验结果表明该方法提高了信噪比,去除了大部分噪声,同时有效的信号的能量也相当完整地保留下来,能够很好地解决噪声对语音信号的干扰的问题。同时这一环节为基频提取打下良好的基础。单个语音的基频提取有很多方法,但是每种方法都其不足之处,本文提出了一种融合自相关函数和平均幅度差函数的新算法。这种方法非常适用于有噪声环境下的实时处理,这一步对语音的分离乃至多目标跟踪起到关键性作用。试验结果表明这种方法使基音周期的峰值突出,对清浊音的判别更准确,检测速度快,鲁棒性也非常好,并且有很好的时实性。最后,本文给出一种新的粒子滤波器来融合听觉和视觉信息,这种方法使得视觉和声觉信息的地位更为对称,从而能够更好的发挥其互补作用。此算法比单纯使用视觉和声觉信息的跟踪算法具有更高的可靠性,同时对光照条件改变、背景变化、人物交错、遮挡等干扰都具有一定的鲁棒性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1-1 引言
• 1-2 国内外声觉和视觉结合的目标跟踪发展现状
• 1-2-1 视觉目标跟踪
• 1-2-2 声音目标跟踪
• 1-2-3 视觉和声觉结合的目标跟踪
• 1-3 课题研究背景及意义
• 1-4 论文研究内容与结构安排
• 第二章 视觉目标跟踪系统研究
• 2-1视觉跟踪概述
• 2-1-1 目标跟踪的方法介绍
• 2-1-2 目标跟踪的难点问题
• 2-2 视觉目标跟踪算法
• 2-3 本章小结
• 第三章 听觉目标跟踪系统研究
• 3-1 应用背景
• 3-2 听觉跟踪方法介绍
• 3-3 含噪的语音信号分离
• 3-3-1 多基音检测方法
• 3-3-2 语音信号重建
• 3-4 本章小结
• 第四章 基于小波变换的语音消噪处理
• 4-1 小波基本理论
• 4-1-1 连续小波变换
• 4-1-2 离散小波变换
• 4-1-3 小波函数的介绍
• 4-2 小波阈值去噪方法分析
• 4-2-1 小波去噪的基本原理
• 4-2-2 含噪声信号的小波分析特性
• 4-2-3 噪声在小波分解下的特性
• 4-2-4 用小波分析对信号消噪
• 4-2-5 小波消噪中阈值的选取
• 4-3 二次小波分解全局阈值方法
• 4-4 小波去噪方法实现与结果分析
• 4-5 本章小结
• 第五章 拟人机器人噪声背景下的基音检测
• 5-1 语音信号的前期处理
• 5-1-1 特征参数
• 5-1-2 分帧处理
• 5-1-3 端点检测
• 5-2 语音信号的基频提取
• 5-2-1 影响基音周期检测的因素
• 5-2-2 基频提取的主要方法
• 5-3本文所用算法
• 5-3-1 算法的基本原理
• 5-3-2 基音检测的前期处理
• 5-3-3 清浊音的判别
• 5-3-4 基音检测的后期处理
• 5-3-5 算法流程
• 5-4 实验结果与分析
• 5-5 本章小结
• 第六章 视觉和声觉信息融合的目标跟踪算法研究
• 6-1 视觉和听觉目标跟踪的预处理
• 6-1-1 视觉跟踪
• 6-1-2 听觉跟踪
• 6-2 信息融合和权值调整
• 6-2-1 产生先验分布
• 6-2-2 产生采样点并计算权值
• 6-2-3 运动模型
• 6-2-4 计算目标的最终位置
• 6-2-5 权值调整
• 6-3 本章小结
• 第七章 结论与展望
• 参考文献
• 致谢