音视频实时处理系统的设计与实现

论文摘要

DSP(数字信号处理器芯片)以其强大的数字信号处理能力,被广泛应用于各种音视频处理系统中。但DSP主要侧重于算法的实现,系统控制能力相对偏弱。ARM嵌入式芯片以其高性价比、丰富的外设资源,被广泛应用于各种需要复杂控制和通信的系统中,与嵌入式操作系统结合,能够充分利用操作系统的多任务机制及其支持的各种协议,缩短产品开发周期,具有较强的通用性和扩展性。论文结合DSP处理器与ARM处理器的优点,研究设计了基于DSP和ARM的音视频实时处理系统的软硬件平台。选用TI公司的TMS320DM642和Samsung公司的S3C2410作为核心处理器芯片。DSP子系统采集音视频数据并负责其算法处理,通过DSP的HPI接口把经过处理的音视频数据传输给ARM子系统,ARM子系统负责音视频数据的存储以及网络传输。论文着重论述了音视频实时处理平台的设计方案以及具体实现。首先介绍了课题的相关背景,给出了总体设计方案。在硬件方面,给出了DSP和ARM子系统的电路设计,利用DSP的HPI接口与ARM实验板的外部存储接口实现了DSP子系统与ARM子系统的通信连接。在软件方面,基于DSP/BIOS实时操作系统,构建了DSP子系统的系统软件框架;基于Linux操作系统建了ARM子系统的系统软件框架。论文讨论了两种操作系统的特点以及设备驱动开发要点。作为论文工作的重点和主要部分,论文给出了各子系统模块单元的软件编程实现,包括DSP子系统上实现的音频采集、视频采集模块,DSP的I2C/EDMA/MCBSP等外设,DSP的cache处理;ARM子系统与DSP子系统之间的HPI通信;ARM子系统上实现的网络传输、USB驱动、SD卡驱动等。最后对整个系统平台进行了性能测试与分析,测试结果表明,本系统运行良好,各项性能指标达到设计要求。论文设计的系统作为一个可提供二次开发的通用的软硬件平台,音视频处理算法能很方便的添加到系统中去,可以加快后继项目研发进度。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 音视频处理系统研究的背景及意义
• 1.2 论文主要研究内容
• 第二章 音视频实时处理平台总体设计
• 2.1 系统设计方案
• 2.1.1 系统硬件平台设计方案
• 2.1.2 系统软件平台设计方案
• 2.1.3 系统整体框架设计及工作原理
• 2.1.4 系统实时性实现及分析
• 2.2 音视频采集模块设计
• 2.2.1 音频采集模块设计
• 2.2.2 视频采集模块设计
• 2.3 ARM与DSP系统的通信接口设计
• 2.3.1 HPI接口及主要引脚功能
• 2.3.2 HPI接口读/写时序
• 2.3.3 HPI接口硬件设计
• 2.4 网络传输模块
• 2.5 其它外设接口模块
• 2.6 本章小节
• 第三章 DSP系统的软件设计与实现
• 3.1 实时操作系统DSP/BIOS
• 3.1.1 DSP/BIOS设备驱动结构
• 3.1.2 DSP/BIOS设备驱动设计要点
• 3.2 TMS320DM642 主要片上外设实现
• 3.2.1 I2C
• 3.2.2 EDMA
• 3.2.3 多通道缓冲串口（MCBSP）
• 3.3 音频采集模块软件设计与实现
• 3.3.1 AIC23 参数设置
• 3.3.2 音频采集功能实现
• 3.4 视频采集模块软件设计与实现
• 3.4.1 视频采集流程
• 3.4.2 ADV7181 参数设置
• 3.4.3 视频采集底层驱动实现
• 3.4.4 视频采集通道参数设置
• 3.4.5 图像合成
• 3.4.6 视频采集功能实现
• 3.5 DSP子系统软件框架设计
• 3.5.1 线程同步机制
• 3.5.2 唇同步实现
• 3.5.3 DSP子系统软件设计与实现
• 3.6 TMS320DM642 CAHCE一致性问题
• 3.6.1 TMS320DM642 的CAHCE结构
• 3.6.2 CACHE一致性问题及解决方法
• 3.7 DSP子系统性能测试与分析
• 3.7.1 TMS320DM642 的SDRAM测试
• 3.7.2 音视频采集调试与测试
• 3.7.3 线程切换周期及CPU负荷测试
• 3.7.4 音视频采集的实时性分析
• 3.7.5 DSP子系统测试结论
• 3.8 本章小结
• 第四章 ARM系统的软件设计与实现
• 4.1 ARM-Linux嵌入式系统构建
• 4.1.1 嵌入式Linux交叉编译环境搭建
• 4.1.2 VIVI及嵌入式Linux操作系统移植
• 4.1.3 嵌入式Linux文件系统
• 4.2 Linux设备驱动开发要点
• 4.3 ARM与DSP通信模块
• 4.3.1 ARM与DSP的HPI通信协议
• 4.3.2 HPI设备驱动程序实现
• 4.4 网络传输模块
• 4.4.1 Linux网卡驱动移植
• 4.4.2 TCP/IP参考模型
• 4.4.3 客户机-服务器模式
• 4.4.4 TCP/IP协议的套接字（Socket）
• 4.4.5 利用套接字实现网络数据传输
• 4.5 数据存储模块
• 4.5.1 配置Linux内核支持FAT文件系统
• 4.5.2 usbgadget驱动移植
• 4.5.3 SD卡驱动移植
• 4.6 S3C2410 嵌入式系统软件框架设计
• 4.6.1 Linux系统多线程编程
• 4.6.2 ARM子系统软件框架程序设计
• 4.7 ARM子系统性能测试与分析
• 4.7.1 音视频数据流分析及HPI数据吞吐量测试
• 4.7.2 音视频码字网络传输的测试
• 4.8 本章小节
• 第五章 总结与展望
• 致谢
• 参考文献
• 作者在学期间取得的学术成果
• 附录A 硬件平台实物图