实时数据集市的设计与实现

论文摘要

随着数字时代的来临,面对铺天盖地的信息,如何快速准确的得到有用的信息并支持公司管理层进行决策成为了许多企业不得不面对的一个重要课题。数据仓库技术的诞生从技术层面解决了这一个问题。而实时数据仓库则是数据仓库发展的一个新的方向。传统的数据仓库由于处理时间周期较长,一般以天为单位来刷新数据。随着业务的不断发展,对数据的实时性的要求也越来越高。本文通过一个实时数据集市项目,来介绍了作者在实时数据仓库方面的研究,对实时数据仓库的系统架构,各模块间的联系进行了详细的设计。并且结合SQL Server 2005 Integration Service(SSIS)和Business Objects平台,对系统进行了开发。论文中也会有SSIS方面开发技巧和调优技巧的介绍。本文共分三个部分,七章。第一部分由第一、二章组成,介绍了本文的研究背景,包括数据仓库技术在国内外的发展情况以及未来的发展趋势,并简要阐述了本文的框架以及创新之处。然后对实时数据仓库/数据集市的概念进行了阐述,并且对项目中用到的SSIS和BO XI平台做了简单的介绍。第二部分由第三、四、五章组成。这部分从项目的背景介绍开始,到客户的需求分析,实时数据库系统架构设计的思考,优缺点比较,到最后方案的确定以及设计,并且针对每个模块来进行分析和设计。第三部分由第六章构成,作为实时数据集市系统的实现部分。作者选取了一个维度表的程序包来贯穿整章,从对这段程序的逻辑设计,物理实现和难点分析,到应用SSIS平台特性对程序包的性能调整。最后一部分为总结,根据论文中所阐述的方法,进行总结,以供读者参考。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 国内外数据仓库行业发展现状分析
• 1.2.1 数据仓库/数据集市行业的现状
• 1.2.2 数据仓库/数据集市行业的发展方向
• 1.3 本文研究内容及框架
• 1.4 本文创新
• 第二章 实时数据集市与软件平台概述
• 2.1 数据仓库/数据集市概述
• 2.2 实时数据仓库/集市概述
• 2.3 软件平台概述
• 2.3.1 SQL Server Integration Service概述
• 2.3.2 Business Objects概述
• 第三章 ISEE系统背景介绍
• 3.1 ISEE产品介绍
• 3.2 ISEE数据集市的作用
• 第四章 数据集市的架构设计
• 4.1 需求分析
• 4.1.1 ISEE报表系统的现状研究
• 4.1.2 数据集市的业务需求
• 4.1.3 数据集市的系统需求分析
• 4.2 数据集市系统架构设计
• 4.2.1 实时数据集市实现方法的研究
• 4.3 数据结构设计
• 4.3.1 数据集市的三个星形结构
• 第五章 数据集市各模块设计与实现
• 5.1 数据集市的静态层与动态层
• 5.2 数据集市的实时监控模块
• 5.3 数据集市的数据转换模块
• 5.3.1 程序包逻辑设计
• 5.3.2 SSIS程序包的设计与实现
• 5.3.3 SSIS程序包的调优
• 5.4 数据集市的数据存储模块
• 5.5 数据集市的数据展现模块
• 第六章 总结
• 参考文献
• 附录 Ⅰ.程序列表
• 1.用户自定义函数:REGEX-UDF
• PARSE_SYSTEMMODEL'>2.函数:FN_PARSE_SYSTEMMODEL
• PARSESYSTEMMODEL'>3.存储过程:SP_PARSESYSTEMMODEL
• 致谢