大规模归档流数据的备份恢复技术的研究与实现

论文摘要

随着信息技术的发展,在许多领域出现了一种高速、海量、动态的新型数据,这种数据被称之为数据流,数据流的应用很广,其中一种常见的应用是将数据归档存储起来给用户进行研究、分析、查询,这类需要存储的数据流数据被称之为归档流数据。归档流数据具有很高的商业和研究价值,十分珍贵,一旦丢失或不可用,后果不堪设想,那么怎么保证这些珍贵的归档流数据的可用性?如何存储保存这些大规模的归档流数据?这就需要我们深入研究大规模归档流数据的备份恢复技术。本文以一个具体的海量归档流数据数据库管理系统为背景,深入研究数据库技术、海量归档流数据备份恢复技术、海量数据装载技术,设计出备份恢复性能优越、能适应海量归档流数据数据库管理系统复杂的硬件和网络环境、对在线系统影响较小的备份与恢复系统。具体说来,本文主要在以下几个方面开展了工作:根据归档流数据备份恢复的需求设计了归档流数据备份恢复系统体系结构,该体系结构集数据备份、恢复、存储、历史数据查询为一体,是一个完整的备份恢复系统体系结构。对海量归档流数据数据库管理系统进行了物理和逻辑方面的设计,使其数据库结构适应大规模归档流数据备份与存储管理平台需要。摒弃传统的数据库备份技术,采用备份源数据的方法,该方法具有备份实现简单、备份速度快、备份数据规模小,对在线系统干扰较小等优点,是一种可行且高效的备份方法,该方法的使用极大的提高了大规模归档流数据备份性能。开发出性能优越的海量归档流数据装载技术,并将该技术应用到大规模归档流数据的恢复中,该技术融合了批量数据加载、交换分区机制、多层次的任务并行调度等技术,达到了每秒GB级的并行高速装载,极大地提高了恢复的速度,满足了大规模归档流数据恢复的需要。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 问题背景
• 1.2 研究现状
• 1.2.1 海量归档流数据数据库管理系统研究现状
• 1.2.2 数据库备份恢复技术研究现状
• 1.2.3 课题目标
• 1.3 本文工作
• 1.4 论文结构
• 第二章 备份恢复相关技术研究
• 2.1 数据备份恢复的相关概念
• 2.1.1 备份恢复的概念
• 2.1.2 备份的分类
• 2.1.3 备份恢复系统的结构
• 2.1.4 恢复的操作类型
• 2.2 数据库备份恢复技术研究
• 2.2.1 物理备份（Physical Backup）
• 2.2.2 逻辑备份（Logical Backup）
• 2.2.3 数据库恢复技术
• 2.3 数据库备份恢复技术对比分析
• 第三章 ABRS关键技术研究
• 3.1 ABRS体系结构
• 3.2 ABRS备份恢复服务设计思想
• 3.3 数据划分技术
• 3.4 大规模归档流数据备份技术
• 3.4.1 备份策略
• 3.4.2 大规模归档短文本流数据备份
• 3.4.3 统计数据、配置数据备份
• 3.5 大规模归档流数据恢复技术
• 3.5.1 恢复策略
• 3.5.2 大规模归档短文本流数据恢复
• 3.5.3 海量归档流数据装载技术
• 3.5.4 统计数据、配置数据恢复
• 3.6 驱动器并行调动技术
• 3.7 小结
• 第四章 ABRS设计与实现
• 4.1 ABRS数据库设计
• 4.1.1 数据库逻辑设计
• 4.1.2 ORACLE表视图管理设计
• 4.2 短文本数据备份恢复模块设计与实现
• 4.2.1 短文本数据备份恢复模块数据处理流程
• 4.2.2 短文本数据备份恢复模块子模块设计与实现
• 4.3 恢复装载RecoverLoader模块组设计与实现
• 4.3.1 TaskManager模块
• 4.3.2 CTaskQueue模块
• 4.3.3 CTask模块
• 4.3.4 CTaskDispatcher模块
• 4.3.5 CResourceManager模块
• 4.3.6 CResultManager模块
• 4.3.7 CResultAnalyzer模块
• 4.3.8 CTaskRestorer模块
• 4.4 统计数据和配置数据备份恢复模块设计与实现
• 4.4.1 备份恢复模块数据处理流程
• 4.4.2 备份恢复子模块设计与实现
• 第五章 ABRS系统测试与分析
• 5.1 测试环境
• 5.2 Oracle传统数据导入/导出方式与数据泵、恢复装载服务性能对比
• 5.3 NetVault磁带读写性能测试
• 5.4 备份恢复性能测试
• 5.5 测试小结
• 第六章 结束语
• 致谢
• 参考文献
• 作者在攻读硕士学位期间论文发表情况
• 作者在攻读硕士学位期间参与的科研项目