嵌入式高分辨率全景图像处理系统设计

论文摘要

全景视觉具有大的视场范围,被广泛应用于各种领域,如机器人导航、太空探测、视频监控、视频会议和虚拟现实等。一套完整的全景视觉系统由全景视觉传感器、图像捕获部分、图像处理部分、图像显示部分等组成。传统的全景视觉系统采用计算机作为图像的采集、处理和显示设备,在一些对体积、功耗、处理实时性有一定要求的场合,传统方式难易满足设计要求。所以采用嵌入式系统的解决方案可以同时实现小体积、相对较低功耗和实时处理的要求。在本套全景视觉系统中,全景视觉传感器由双曲面反射镜、可变焦镜头、高分辨率相机组成,高分辨率全景图像处理平台完成图像采集、图像处理和图像显示,本处理平台也是系统设计的重点和难点。高分辨率全景图像处理平台从硬件设计到软件设计都采用当前流行的自顶向下的设计方法,从总体设计,层次细分设计模块,使得设计过程不会偏离主线,而且各个模块在未来设计中可以充分利用。图像处理平台硬件系统由基于FPGA的核心板和外设板组成,采用FPGA作为核心处理芯片可以发挥其并行处理和硬件可编程设计灵活的特点。核心板主要由以下几部分组成：FPGA最小系统、各种类型存储器(Flash、SDRAM和SRAM)、调试配置电路、外围扩展接口和电源部分。由于核心板是独立模块化设计,针对不同功能要求的系统,只需设计不同的外设板无需重新设计核心板。本系统的外设板主要包括以下部分：Camera Link图像采集电路、图像显示电路、通讯电路、存储电路、人机交换电路和电源。核心板配合外设板实现对高分辨率相机图像的采集、图像处理和图像显示。系统软件主要是采用SOPC技术,设计一个基于Avalon总线架构的片上系统。本系统的处理器采用32位软核处理器NiosⅡ,NiosⅡ处理器与其他功能的外设通过Avalon总线互联通讯,实现图像采集、显示和处理的过程。本系统设计的重点在用户自定义的图像采集外设和图像显示外设,图像采集外设要求能根据高分辨率相机的时序获得全景图像数据并将图像数据保存在片外的图像缓存中,等待后续的处理和显示；图像显示外设能完成原始全景图像的显示和展开后全景图像的显示；图像采集和显示过程采用乒乓操作,即两个外设轮流访问不同的图像缓存区域,采集和显示动作相互没有影响。最后,经过实际硬件电路调试和软件调试,实现了对高分辨率相机的2048×2048分辨率的图像的实时采集和在800×600液晶显示器上显示局部全景图像、整体全景图像和经过硬件展开算法解算后的图像。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题研究的背景和目的
• 1.2 嵌入式高分辨率全景图像处理系统国内外研究现状
• 1.3 本文研究主要内容
• 第2章 嵌入式高分辨率全景视觉系统总体设计
• 2.1 嵌入式高分辨率全景视觉系统组成
• 2.1.1 全景视觉传感器
• 2.1.2 嵌入式图像处理平台与系统结构
• 2.2 高分辨率全景图像处理平台设计
• 2.2.1 嵌入式高分辨率全景图像处理平台总体设计
• 2.2.2 高分辨率图像采集方案
• 2.2.3 图像显示方案
• 2.2.4 人机接口设计方案
• 2.2.5 其他部分方案
• 2.3 FPGA内部框架总体设计
• 2.3.1 图像并行处理
• 2.3.2 FPGA图像处理系统架构设计输入/输出数据量分析
• 2.3.3 基于SOPC的系统架构
• 2.4 本章小结
• 第3章 高分辨率全景图像处理平台硬件部分设计
• 3.1 FPGA核心板硬件电路设计
• 3.1.1 FPGA选型
• 3.1.2 核心板电源设计
• 3.1.3 FPGA最小系统设计
• 3.1.4 核心板存储器设计
• 3.1.5 其他部分（流水灯、扩展IO）
• 3.1.6 核心板PCB设计
• 3.2 外设板设计
• 3.2.1 外设板电源设计
• 3.2.2 外设板图像采集电路设计
• 3.2.3 外设板图像显示电路设计
• 3.2.4 外设板对外通讯电路设计
• 3.2.5 外设板存储电路设计
• 3.2.6 外设板其他电路设计
• 3.2.7 外设板PCB设计
• 3.3 本章小结
• 第4章 基于SOPC的系统设计
• 4.1 Avalon总线
• 4.1.1 Avalon总线基本概念
• 4.1.2 Avalon总线传输属性
• 4.1.3 高分辨率全景处理平台总线架构设计
• 4.2 基于Avalon总线的图像采集IP核设计
• 4.2.1 图像采集IP核总体设计方案
• 4.2.2 相机数据捕捉模块设计
• 4.2.3 图像缓存模块设计
• 4.2.4 突发属性的Avalon主端口设计
• 4.2.5 图像采集控制模块设计
• 4.2.6 基于Avalon总线的从端口寄存器设计
• 4.3 基于Avalon总线的图像显示IP核设计
• 4.3.1 图像显示IP核总体设计方案
• 4.3.2 LCD驱动模块设计
• 4.3.3 流水线属性的Avalon主端口设计
• 4.3.4 基于Avalon总线的从端口寄存器设计
• 4.4 信号发生器IP核设计
• 4.5 SOPC系统构建
• 4.6 基于Nios Ⅱ处理器的软件开发
• 4.6.1 外设驱动程序开发
• 4.6.2 系统应用程序及主程序开发
• 4.7 本章小结
• 第5章 基于FPGA的图像处理算法研究
• 5.1 Bayer滤波色彩还原算法的FPGA实现
• 5.1.1 双线性插值算法研究
• 5.1.2 双线性插值的FPGA实现
• 5.2 图像几何变换算法
• 5.2.1 图像的平移
• 5.2.2 图像缩放
• 5.3 基于FPGA的全景图像展开算法
• 5.3.1 全景柱面展开算法
• 5.3.2 基于FPGA的全景图像快速展开算法
• 5.4 本章小结
• 第6章 基于FPGA的高分辨率全景图像处理系统调试
• 6.1 FPGA核心板调试
• 6.1.1 电路板检查及焊接
• 6.1.2 静态调试
• 6.1.3 动态调试
• 6.2 外设板调试
• 6.2.1 电路板检查及焊接
• 6.2.2 静态与动态调试
• 6.3 系统联调
• 6.4 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文和取得的科研成果
• 致谢