基于DSP的视频与音频联合目标跟踪系统

论文摘要

随着科技的不断进步,人工智能技术得到了快速的发展,其中智能跟踪系统的发展已经日趋成熟,从过去的被动跟踪模式逐步转向主动跟踪模式,从基于单一的摄像头视频跟踪发展到基于摄像头和麦克风阵列的视频与音频信息联合的跟踪方式。本文主要研究了基于视频与音频信息联合的跟踪系统。这种基于多信息联合的跟踪方式,能够互补视频跟踪与音频定位技术的优缺点,采用音频定位辅助视频跟踪的联合方法,可以达到更好的目标跟踪效果。文中分别给出了视频和音频跟踪算法,其中视频跟踪采用运动目标检测算法和运动目标跟踪算法,而运动目标检测算法主要包含图像时间差分技术和基于图像区域生长法的图像轮廓分割技术,运动目标跟踪算法则主要使用模板匹配技术实施视频跟踪;音频定位技术则采用声道时延的搜索方法,与视频跟踪算法相近,主要包含声道模板信息提取算法和声道模板匹配算法等实现音频定位。跟踪系统的设计主要基于TMS320DM642开发板。视频跟踪部分使用球形摄像头获取视频信息,音频部分使用双麦克风设计获取音频信息,获取的信息通过TMS320DM642开发板分析处理,发送摄像头控制指令,实现目标跟踪。最后,本文给出了视频跟踪和音频定位技术的实验结果和相关分析。经过对视频和音频目标跟踪系统性能的实际测试,系统软件、硬件均已经达到了实时性、可靠性和稳定性等指标,同时在功能上也具有一定的通用性和可扩展性。

论文目录

• 中文摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.2 跟踪系统发展现状
• 1.3 本论文完成的工作
• 第二章 基于TMS320DM642 DSP视频音频系统设计
• 2.1 TMS320DM642 简介
• 2.1.1 TMS320DM642 EVM 主要技术指标
• 2.1.2 视频解码芯片 SAA7113
• 2.1.3 视频编码芯片 SAA7121H
• 2.1.4 音频编解码芯片 TLV320AIC23
• 2.2 球形摄像头简介
• 2.2.1 球形摄像头参数
• 2.2.2 摄像头控制协议
• 2.3 麦克风输入转立体声线路输入接口设计
• 2.4 基于TMS320DM642 音视频跟踪系统结构简介
• 第三章 视频跟踪算法
• 3.1 视频跟踪算法简介
• 3.2 运动目标检测算法
• 3.2.1 图像时间差分技术
• 3.2.2 差分图像的滤波
• 3.2.3 图像的固定阈值分割算法
• 3.2.4 基于区域生长法的图像轮廓提取算法
• 3.2.5 图像模板提取算法
• 3.3 运动目标跟踪算法
• 3.3.1 传统的目标模板匹配算法
• 3.3.2 基于图像差分的匹配算法
• 3.3.3 基于运动方向的匹配算法
• 3.4 小结
• 第四章 音频定位算法
• 4.1 音频定位算法简介
• 4.2 基本相关算法
• 4.3 广义互相关（GCC）时延估计算法
• 4.4 声道时延搜索算法
• 4.4.1 左右声道信息提取算法
• 4.4.2 声道幅度均值计算方法
• 4.4.3 声道模板信息提取算法
• 4.4.4 声道模板匹配算法
• 4.4.5 突变噪声滤波算法
• 4.5 时间延迟算法计算目标的位置
• 4.6 小结
• 第五章 基于音视频联合的目标跟踪算法
• 5.1 视频跟踪算法流程
• 5.2 音频定位算法流程
• 5.3 摄像头参数转换
• 5.4 音视频联合跟踪算法流程
• 5.5 小结
• 第六章 音视频跟踪的实验结果
• 6.1 视频跟踪
• 6.2 音频定位
• 6.3 小结
• 第七章 总结和展望
• 参考文献
• 致谢