分级存储系统中文件访问重定向的设计与实现

论文摘要

当今世界信息产业迅速发展,数字信息数据的快速增长使得企业在存储数据方面的开销不断加大。分级存储管理提出了将不常用的数字信息转移到价格相对便宜的近线存储设备和离线存储设备中,通过分级存储管理系统自动对文件进行访问频率分析,并按利用率的高低决定起存储位置,而文件的存储位置的改变对用户来说是透明的。这样就有效的降低了存储成本,而对存储系统的总体性能影响有限。本文分析了分级存储系统的体系结构和设计准则,设计并实现了一个分级存储管理系统(HSM,Hierarchical Storage Management)中的Linux系统下的文件监控技术与文件访问重定向。同时通过对数据分类、信息评价、数据迁移以及数据访问等关键技术的研究,使得HSM具有了很高的适用性和高效的性能。本文重点论述了Linux下的文件监控技术与重定向的实现,分析了现有的实现Linux系统下的文件监控的相关技术,比较它们的性能及其适用性等方面的优劣,提出了一种适合分级存储的、性能优化的文件监控方法。为了使程序与Linux内核版本无关,应用了一种内核可加载模块的方式,通过定期扫描所要监控文件的文件状态信息,并计算其哈希值,之后比较两次扫描所得到的哈希值,在哈希值不同的情况下,说明文件被访问过,再将这两次扫描所得到的具体的文件信息逐项比较,得到文件操作类型。这样同每次直接比较详细信息相比,大大减少了计算工作量,节省了系统资源。文件重定向模块通过分析文件监控模块发来的信息,判断文件是一个普通文件还是一个地址路径即是否已经迁移,如果是普通文件直接访问。如果是地址路径,则重定向文件访问,将操作引向文件实际存储地址。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 信息高速增长下信息存储的特点及其发展
• 1.1.1 存储架构的发展
• 1.1.2 存储介质的发展
• 1.1.3 存储管理的发展
• 1.2 分级存储管理及其作用
• 1.3 研究目标
• 1.4 研究的关键性问题
• 第2章 分级存储管理系统
• 2.1 HSM系统简介
• 2.2 HSM系统的设计准则
• 2.3 系统描述
• 2.4 系统结构
• 2.5 系统软件结构
• 2.6 各模块的功能概述
• 2.6.1 文件监控模块
• 2.6.2 AS监控代理模块
• 2.6.3 文件虚拟I/O模块
• 2.6.4 数据迁移/回迁/API模块
• 2.6.5 配置管理模块
• 2.6.6 HSM存储服务模块
• 2.7 HSM系统的主要的处理流程
• 2.7.1 初始化流程
• 2.7.2 数据流程
• 2.7.3 监视控制流程
• 第3章 分级存储中文件监控技术研究
• 3.1 传统文件监控的缺点
• 3.2 应用dnotify机制实现文件监控
• 3.3 应用inotify机制实施文件监控
• 3.3.1 inotify简介
• 3.3.2 用户接口
• 3.3.3 内核实现机理
• 3.4 利用tripwire进行文件监控
• 3.5 应用Linux内核可加载模块的文件监控方法
• 3.5.1 LKM的原理
• 3.5.2 利用LKM拦截文件操作系统调用
• 3.5.3 文件监控流程及优劣
• 3.6 分级存储系统中文件监控的特点
• 第4章 文件监控策略及文件访问重定向的设计与实现
• 4.1 实现相关技术的研究
• 4.2 文件监控模块的设计与实现
• 4.2.1 流程控制模块
• 4.2.2 文件监控配置模块
• 4.2.3 文件状态生成模块
• 4.2.4 文件状态快照比较模块
• 4.2.5 文件状态比较模块
• 4.3 文件重定向的方法
• 4.4 文件重定向模块的实现
• 4.4.1 重定向文件的判断
• 4.4.2 文件名及操作类型的获取
• 4.5 与其他模块接口描述
• 第5章 总结
• 5.1 论文工作总结
• 5.2 HSM系统的进一步工作
• 参考文献
• 致谢
• 研究生履历