DSP与FPGA协同的双分辨率折反射全景成像处理系统

论文摘要

折反射全景成像技术能快速获得360度全方位大视场的景象,可广泛应用于军事侦察、视频监控、机器人视觉等领域。在西方军事强国,全景成像技术已经应用于装甲战车、潜艇等装备,以提高其预警能力、作战生存能力。然而,现有的全景成像处理系统在应用中还存在以下主要问题:只能用于全视场搜索目标,不能用于对重点视场区域凝视目标,无法满足诸如军事侦察等应用中,既需要获得360度全方位景象,又需要对感兴趣重点区域进行高清晰观察的应用需求;处理高分辨率全景图像时,处理速度有限,难以达到实时应用需求。为解决这些问题,我们提出并设计实现了DSP与FPGA协同的双分辨率折反射全景成像处理系统。它的主要特点是:360度全局视场与局部重点区域兼顾。常用分辨率显示360度全景图像,高分辨率对感兴趣区域高清晰显示;采用DSP与FPGA协同的硬件处理平台,实时地完成了图像采集、色彩空间变换、全景图像展开、视场切换、全景/局部图像显示等处理。本文主要工作是:(1)提出了一种双分辨率折反射全景成像方法,实现360度全局视场与局部重点区域兼顾。(2)采用帧存Ping pong控制机制、流水线结构,实现了全景图像实时采集与颜色空间实时变换。(3)提出了图像分块展开策略、时间隐藏数据读写技术,结合流水线技术优化折反射全景图像查表展开算法,实现了折反射全景图像实时展开。(4)提出了逆向工程波形分析法,实现了DSP与FPGA双核DMA高速通讯(数据传输率4.704Gbps)。(5)实现了感兴趣区域高清晰实时显示,以及全局与局部视场灵活切换。该系统将1024*1024源图像展开为1280*256目标图像并显示,处理速度可达45fps,将感兴趣区域放大16倍,显示为640*512图像,处理速度可达58fps,满足了实际应用需求。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 问题的提出
• 1.2 研究现状
• 1.2.1 全景成像技术
• 1.2.2 折反射全景成像技术
• 1.3 本文工作
• 1.4 论文的组织结构
• 第二章 双分辨率折反射全景成像处理系统结构
• 2.1 系统概述
• 2.2 DCPIPS 工作原理及总体结构
• 2.2.1 DCPIPS 工作原理
• 2.2.2 DCPIPS 总体结构
• 2.3 DSP+FPGA 硬件处理平台
• 2.3.1 DSP+FPGA 处理平台结构
• 2.3.2 DSP 与FPGA 的协同
• 2.4 本章小结
• 第三章 折反射全景图像采集与预处理
• 3.1 折反射全景图像采集
• 3.1.1 图像采集模块设计
• 3.1.2 图像采集模块工作时序
• 3.1.3 帧存Ping pong 控制机制
• 3.2 颜色空间实时转换
• 3.2.1 颜色空间转换原理
• 3.2.2 颜色空间实时转换流水线设计
• 3.3 本章小结
• 第四章 折反射全景图像查表实时展开
• 4.1 折反射全景图像展开生成算法
• 4.1.1 光路跟踪展开法
• 4.1.2 同心圆环近似展开法
• 4.1.3 查找表展开法
• 4.2 基于FPGA 折反射全景图像查表展开
• 4.2.1 基于FPGA 折反射全景图像查表展开原理
• 4.2.2 图像分块展开策略提高全景图像展开速度
• 4.2.3 流水线与Ping pong 机制提高全景图像展开速度
• 4.3 时间隐藏策略优化全景图像展开
• 4.3.1.常用 SDRAM 控制器读写数据块的特点分析
• 4.3.2 面向数据块读写的时间隐藏策略
• 4.3.3 控制器的设计与实现
• 4.4 基于FPGA 折反射全景图像查表展开实现
• 4.5 实验结果与分析
• 4.5.1 时间隐藏SDRAM 控制器设计实验结果
• 4.5.2 折反射全景查找表展开实验结果
• 4.6 本章小结
• 第五章 感兴趣区域高清晰显示
• 5.1 感兴趣区域高清晰显示原理及算法流程
• 5.1.1 感兴趣区域高清晰显示原理
• 5.1.2 感兴趣区域高清晰显示算法流程
• 5.2 感兴趣区域选择与定位
• 5.2.1 感兴趣区域选择
• 5.2.2 感兴趣区域定位
• 5.3 感光芯片开窗采集感兴趣区域源图像
• 5.3.1 感光芯片开窗采集图像
• 5.3.2 感光芯片配置及图像采集
• 5.4 感兴趣区域源图像全景展开
• 5.4.1 感兴趣区域源图像全景展开概述
• 5.4.2 查找表生成
• 5.4.3 感兴趣区域源图像全景展开流程
• 5.5 本章小结
• 第六章 双分辨率折反射全景成像处理系统设计与实现
• 6.1 DCPIPS 硬件设计
• 6.1.1 DCPIPS 硬件设计概述
• 6.1.2 异构双核高速通信模块硬件设计
• 6.2 DCPIPS 软件设计
• 6.2.1 DCPIPS 软件架构
• 6.2.2 DCPIPS 软件处理流程
• 6.3 逆向波形分析实现双核DMA 通讯
• 6.3.1 逆向工程简介及逆向波形分析原理
• 6.3.2 基于逆向波形分析的DSP 与FPGA 双核DMA 通讯
• 6.4 DCPIPS 工作流程
• 6.5 系统测试结果
• 结束语
• 论文总结
• 研究展望
• 致谢
• 参考文献
• 作者在学期间取得的学术成果