科研成果多维分析中ETL系统的设计与开发

论文摘要

以国家自然科学基金为主、各行业和地方科学基金为辅的基金体系的成立,对稳定我国基础研究力量,推动科学事业的发展起到了重大作用。为了发挥基金项目的作用,制定科技发展目标,基金管理决策者经常要对一些科研成果进行统计分析,包括成果质量、成果结构、基金投入与产出、科研单位科研情况比较分析等等。因此需要结合数据仓库和OLAP技术构建科研成果多维分析系统。这些OLTP历史数据大多分散且异构,需要进行整合,期望可以从中获得更多有用的信息。然而,当前所使用的ETL工具虽然在性能上提供了很好的解决方案,但是在普及时因其通用性和造价却碰到了不少困难。人们逐渐意识到自主研发适合自己业务的ETL系统的重要性。为解决分析工作的数据抽取问题,本文构建了科研多维分析中ETL系统。该系统具有良好的扩展性,有好的用户界面,创新性的改进了传统ETL系统的架构,使数据可以批量加载,提高了效率,减轻了OLTP系统的负担,而且,该系统把所有跟数据抽取有关的数据以元数据的形式保存在元数据库中,使抽取程序灵活的适应具体业务逻辑的变化,不会因为具体的业务改变抽取程序,并且实现了数据仓库增量数据的添加。本文首先分析数据仓库和ETL的概念,指出了构建ETL系统的必要性。接着对该系统的整体框架进行了改进和设计,并在该框架下提出了元数据控制的ETL系统的解决方案,讨论了数据追加的实现方法。最后,介绍了该系统在“科研成果多维分析系统”的数据仓库工程中得到的项目实践。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 问题的提出
• 1.2 ETL在数据仓库模型建设中的地位和作用
• 1.3 ETL国内外研究概况及系统开发意义
• 1.3.1 ETL主要研究领域及概况
• 1.3.2 本系统开发的意义
• 1.4 本课题研究工作及思路
• 2 数据仓库技术及ETL简介
• 2.1 数据仓库的发展历程
• 2.2 数据仓库的概念和特征
• 2.3 数据仓库的体系结构
• 2.4 ETL概念
• 2.4.1 数据抽取
• 2.4.2 数据转换
• 2.4.3 数据装载
• 3 多维分析中多维模型的建立及ETL系统概述
• 3.1 多维模型的建立
• 3.2 ETL系统的设计目的
• 3.3 系统功能要求
• 3.4 系统架构
• 3.4.1 传统ETL系统的设计思想
• 3.4.2 多维分析中ETL系统设计思想
• 3.5 系统运行环境
• 3.5.1 硬件环境
• 3.5.2 软件环境
• 3.6 系统的主要开发工具
• 4 ETL系统功能模块的设计及实现
• 4.1 数据抽取模块设计
• 4.1.1 数据抽取模块的设计
• 4.1.2 数据转换模块的设计
• 4.2 元数据的设计及ETL系统的处理流程
• 4.3 数据转换规则的解析
• 4.3.1 转换规则的制定
• 4.3.2 转换规则解析
• 4.4 数据仓库增量数据的添加
• 4.4.1 数据装载策略
• 4.4.2 数据追加方法的选择
• 5 基金委科研成果多维分析系统中的数据仓库建设
• 5.1 需求分析
• 5.2 数据集市设计
• 5.2.1 架构设计
• 5.2.2 数据模型设计
• 5.3 工程实施
• 5.3.1 数据集成
• 5.3.2 数据展示
• 结论
• 参考文献
• 攻读硕士学位期间发表学术论文情况
• 致谢