实时数据仓库环境中分区技术的研究与应用

论文摘要

随着企业对数据的实时性的要求的提高,传统的数据仓库技术已无法满足实时性需求。实时数据仓库技术的出现,为企业或组织提供了实时或近实时的数据信息。由于数据实时性的提高,每天都有海量的数据被保存到计算机中,如何在实时数据仓库环境中高效地管理数据的问题也暴露出来。基于数据库的管理技术实现高效的数据管理是解决这一问题的途径之一。本文针对实时数据仓库的特点,以提高实时数据仓库的存储和查询效率为目标,研究了分区技术对实时数据仓库中查询效率的贡献,以及对增量数据的分区存储的问题。从传统的数据库模式特点出发,提出了基于分区表的分区模型和系统化建模流程,包括模型建立、模式抽取和数据迁移等,并从理论依据、实验依据、通用性和扩展性等几个角度详细的论证了此分区表的优越性。针对实时数据仓库的特点,.提出了改进的水平分区算法和基于服务器端改进算法,并详细论证了此方法对查询效率的提升。在此基础上,设计了以上述分区技术为核心的分区引擎,并且将其应于到国家海洋环境数据仓库的开发过程。实验表明,本文所提出的基于分区表的分区策略以及动态分区算法在数据存储和查询领域具有优越的性能,达到了预期的目标。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题来源
• 1.2 研究背景
• 1.3 相关工作
• 1.4 本文组织结构
• 第二章 数据仓库与分区策略
• 2.1 数据仓库
• 2.1.1 数据仓库的特征
• 2.1.2 数据仓库的体系结构
• 2.2 实时数据仓库
• 2.3 分区策略
• 2.3.1 水平分区
• 2.3.2 垂直分区
• 2.4 本章小节
• 第三章 基于分区表的外部分区模型
• 3.1 问题的提出
• 3.2 外部分区
• 3.2.1 外部分区的定义
• 3.2.2 必要条件
• 3.3 PTM模型的定义
• 3.3.1 相关定义
• 3.3.2 非分区模式分区化映射
• 3.3.3 PTM模型
• 3.4 PTM建模
• 3.4.1 NPM建模
• 3.4.2 映射的实现
• 3.4.3 GPM建模
• 3.4.4 获取FQG策略
• 3.4.5 模式抽取
• 3.4.6 基于映射模型数据迁移技术
• 3.5 外部分区模型测试
• 3.5.1 理论依据
• 3.5.2 实验依据
• 3.6 通用性和扩展性
• 3.6.1 统一管理
• 3.6.2 方便数据导出
• 3.6.3 简化数据库向整合数据库迁移过程
• 3.7 本章小结
• 第四章 实时环境下的动态区间分区算法
• 4.1 问题的提出
• 4.1.1 问题描述
• 4.1.2 传统的区间分区算法
• 4.2 非等量区间分区算法NEP
• 4.2.1 适用范围
• 4.2.2 NEP算法的初始化部分
• 4.2.3 NEP算法的执行部分
• 4.2.4 基于服务器端的算法改进
• 4.3 性能分析
• 4.3.1 三种分区算法的效率对比
• 4.3.2 浮动因子对NEP的影响
• 4.3.3 实验结论
• 4.4 本章小结
• 第五章 分区引擎的构建及其在实时数据仓库中的应用
• 5.1 实现分区引擎的具体技术
• 5.1.1 Java语言概述
• 5.1.2 组件技术概述
• 5.1.3 设计模式概述
• 5.1.4 JDBC和连接池概述
• 5.2 总体设计
• 5.3 组件设计
• 5.3.1 FQG生成组件
• 5.3.2 模式抽取组件
• 5.3.3 动态分区计算组件
• 5.3.4 SQL语句生成组件
• 5.3.5 日志组件
• 5.3.6 变更管理组件
• 5.4 系统实现过程中解决的若干问题
• 5.4.1 数据预处理
• 5.4.2 数据的迁移
• 5.4.3 分区的调度策略
• 5.4.4 初装完成后的数据追加阶段
• 5.5 本章小结
• 第六章 成功案例
• 6.1 海洋数据仓库简介
• 6.2 分区技术海洋数据仓库中的应用
• 6.2.1 基于分区表的分区策略的应用
• 6.2.2 内分区策略的应用
• 6.3 应用评价
• 6.4 本章小结
• 第七章 结论和展望
• 7.1 本论文的主要贡献
• 7.2 进一步的工作
• 参考文献
• 致谢
• 攻读硕士期间参加的项目及发表的论文