论文摘要
当今社会,各种数据量的急剧膨胀使人们进入到大数据时代。大数据是指单个寻址单元可以容纳不确定的或任意尺寸的数据。规模非常巨大和复杂的数据集,对于动辄达到PB、EB或ZB级别的数据量,传统的数据存储管理机制处理起来将面临诸多新的难题。通过对大数据底层存储研究,寻求一种行之有效的方式来满足大数据高并发读写、海量数据的高效率存储与访问需求、存储容量可扩展和高可用性的需求,是本研究的主要课题。本研究针对大数据所具有的特性,从数据的底层介质存储、文件系统管理及界面访问形式等层面一一剖析,提出利用FPGA实现文件系统的方案,通过具体实例介绍其实现过程,仿真并调试。.具体如下：一、底层ATA主机控制器的设计及优化。针对实验室现有的ATA控制器进行重新设计与优化,完善Ultra DMA读写功能,归纳DOS、Windows与Linux操作系统中对底层硬盘读写机制,总结出底层硬盘接口的主要参数并对接口进行重新封装,使其易与上层文件系统接口。二、FPGA实现Ext2硬件文件系统。(1)在深入理解FAT 32及Ext 2文件系统的存储原理的基础上,抽取文件系统共性,归纳总结文件基本操作的流程：创建文件、读文件、写文件、删除文件、更新文件等；(2)硬件文件系统与底层ATA主机控制器直接接口,用VHDL描述Ext 2文件系统的各个功能模块及主要操作的状态机描述,代码通过调试与仿真；(3)给出两种方式实现文件系统的具体方案：状态机与定序器引擎,针对各自所具备的特点进行了详细的阐述。三、多模式远程访问的客户端实现。(1)B/S模式下通过WEB浏览器进行远程访问：设计前端HTML访问页面、编写CGI程序、在FPGA中的PetaLinux操作系统中添加Boa服务器、编译文件系统库等；(2)C/S模式下通过编写Socket应用程序,实现文件的远程存取过程。本研究在利用FPGA实现文件系统的具体实现方案中,提出采用RAM实现文件系统的基本数据结构的方法；将字符查找功能应用到硬件电路中,实现文件名的匹配；硬盘命令控制模块合理地控制发往硬盘的命令,提升硬盘的工作效率。用FPGA实现文件系统可在不通过CPU专门调度指挥下完成对数据及文件的读写操作,实现用户数据缓存与硬盘的直接交互,节省资源,缩短文件处理时间,将文件系统与硬盘控制器作为独立的资源节点可极大的增加系统的可扩展性,可为满足大数据需求、实现资源与服务的高效调配提供参考。
论文目录
摘要ABSTRACT第一章 绪论1.1 研究的背景及意义1.2 国内外研究现状1.2.1 硬盘接口1.2.2 硬盘结构及寻址方式1.2.3 文件系统特性1.2.4 FAT文件系统与Ext文件系统1.3 本文主要研究工作及组织结构第二章 ATA主机控制器的设计与实现2.1 ATA主机控制器整体架构2.2 ATA主机控制器接口定义2.2.1 硬盘接口2.2.2 寄存器组接口2.2.3 文件系统接口2.3 复位模块设计2.3.1 上电与硬件复位2.3.2 软件复位2.4 Ultra DMA模块设计2.4.1 Ultra DMA数据传输流程与时序2.4.2 Ultra DMA数据传输状态机设计2.5 数据缓存模块设计2.6 实验验证第三章 文件系统实现方案一：状态机3.1 方案架构3.2 主要功能模块的设计及实现3.2.1 文件系统初始化模块3.2.2 块组描述符表解析模块3.2.3 i-节点与块组换算模块3.2.4 i-节点位置信息计算模块3.2.5 i-节点表解析模块3.2.6 文件名匹配与目录项解析模块3.2.7 文件块号汇总模块3.2.8 硬盘命令控制模块3.2.9 文件系统备份定位模块3.3 硬件文件系统状态机设计3.3.1 初始化状态机3.3.2 创建文件状态机3.3.3 读文件状态机3.3.4 更新文件状态机3.3.5 删除文件状态机3.4 实验验证第四章 文件系统实现方案二：定序器引擎4.1 方案整体架构4.1.1 只写总线BoW4.1.2 主从节点与总线接口4.2 主处理节点：定序器引擎4.3 从处理节点：文件系统构件4.4 消息传递机制4.4.1 统一节点接口访问协议（UNIAP）4.4.2 统一构件访问协议（UCAP）4.4.3 资源相关的访问协议（RRAP）第五章 文件系统应用实例5.1 B/S模式实例5.1.1 系统设计5.1.2 驱动定义5.1.3 FAT文件系统模块5.1.4 B/S模式用户界面5.1.5 B/S模式系统展示5.1.6 B/S模式系统特点5.2 C/S模式实例5.2.1 系统设计5.2.2 文件系统驱动定义5.2.3 C/S模式界面设计5.2.4 C/S模式系统展示5.3 B/S模式与C/S模式对比第六章 总结与展望6.1 总结6.2 展望参考文献致谢攻读学位期间发表的学术论文及成果
相关论文文献
标签：数据存储论文; 主机控制器论文; 文件系统论文;
