分级存储系统中元数据管理的设计与实现

论文摘要

数字信息的飞速增长使得信息存储管理的复杂性不断增加,分级存储管理(Hierarchy Storage Management简称HSM)作为存储领域一个重要的角色受到了越来越多的关注。HSM通过对信息的分类和价值评价,合理地将数据信息存储于整个存储系统中的适当位置,并在信息从创建到销毁的整个生命周期中提供最优的管理服务。其中高适用性的系统结构、高效的管理策略以及透明的动态存储访问成为大规模数据管理系统的重大挑战。为此,本文分析了HSM的体系结构和设计方法,设计并实现了SAN存储网络下的威视分级管理系统(WISHSM),同时通过对文件重解析、数据迁移、数据回迁、策略缓存以及数据库性能的优化等关键技术的研究和实现,使WISHSM具备了很高的适用性和性能,实现了高效的数据信息管理的目标。本文重点论述了元数据管理的设计与实现。WISHSM针对数据分类和信息价值评价的配置设计了分级存储管理中需要的应用元数据,文件系统监测采集和统计应用元数据信息,并根据文件操作(如创建,修改,删除等),对这些信息进行更新和维护。采集的元数据信息通过应用服务器代理模块发送给元数据服务器,最后由元数据管理模块保存在数据库当中,提供给数据迁移服务使用。通过压力性能测试,证明该实现可以达到实际需要。通过性能测试,策略缓存技术使系统的策略执行性能提高了一个数量级。另外针对原策略缓存初始化性能低下的问题,采用策略元数据池(Policy Metadata Container)进行优化,在WISHSM上策略缓存的初始化时间降低了16～20倍。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景
• 1.2 数据存储的发展现状
• 1.2.1 存储介质的发展
• 1.2.2 存储架构的发展
• 1.2.3 信息管理的发展
• 1.3 分级存储研究现状
• 1.4 研究目标
• 1.5 研究的关键技术
• 1.6 论文的组织
• 第2章 WISHSM的系统设计
• 2.1 HSM介绍
• 2.2 HSM的体系结构组成
• 2.3 WISHSM简介
• 2.4 WISHSM的系统架构
• 2.5 应用服务器管理
• 2.5.1 模块功能
• 2.5.2 模块设计
• 2.6 存储设备管理
• 2.6.1 一级存储设备管理
• 2.6.2 二级存储设备管理
• 2.7 策略信息管理
• 2.7.1 数据分类
• 2.7.2 信息价值评价
• 2.7.3 信息管理策略
• 第3章 实现WISHSM的关键技术
• 3.1 文件重解析
• 3.1.1 实现技术研究
• 3.1.2 NTFS文件系统Filter Driver简介
• 3.1.3 File Redirector结构设计
• 3.1.4 具体实现
• 3.2 数据管理服务-自动归档迁移
• 3.2.1 归档流程
• 3.2.2 存储分配
• 3.2.3 异常处理
• 3.3 数据回迁
• 3.4 策略缓存
• 3.5 数据库性能的优化
• 第4章 元数据管理的设计与实现
• 4.1 元数据简介
• 4.2 WISHSM应用元数据设计
• 4.3 WISHSM元数据信息价值评价
• 4.4 WISHSM元数据的获取
• 4.4.1 数据结构设计
• 4.4.2 元数据信息表设计
• 4.4.3 元数据的记录和更新
• 4.4.4 频率的统计与更新
• 4.4.5 程序的主要实现
• 4.5 实验设计与性能测试
• 4.5.1 压力性能测试
• 4.5.2 Policy Cache性能测试
• 第5章 结论
• 5.1 论文工作总结
• 5.2 WISHSM的进一步工作
• 参考文献
• 攻读学位期间公开发表论文
• 致谢
• 研究生履历