基于数据仓库造价分析系统的研究与开发

论文摘要

石油工程造价分析是计划投资和工程结算的决策依据,也是工程项目实现成本控制、项目管理的基础和关键。为了各级造价管理人员能够及时、准确地掌握石油工程造价情况,提高造价管理工作的效率,适油田信息化建设的需要,中石化石油工程造价管理中心决定开发造价分析系统。由于造价分析系统的数据来源于分布在各油区的多个专业系统,数据量大,造价中心获取油区源数据困难,传统的数据库结构不能满足系统要求,本文提出了基于分布式数据仓库的解决方案。数据仓库能够对多个数据源有效集成,并按主题进行重组,适用于支持决策的面向分析型数据处理。本文介绍了数据仓库及相关技术的基本概念和方法,深入分析了造价分析系统需求,重点论述了造价分析数据仓库的概念模型设计、逻辑模型设计和物理模型设计,并研究了数据仓库的联机分析处理和数据挖掘方法。该系统在造价中心建立全局数据仓库,在各油区建立局部数据仓库,全局数据仓库保证了中心造价管理人员对全部造价数据的分析要求,局部数据仓库通过在油区内采集数据降低了数据采集难度,同时也为油区造价管理人员提供了独立的统计分析平台。在系统实现中,PL/SQL存储过程很好地实现了数据仓库数据的ETL过程;建立三层系统架构,表现层采用Struts框架,业务层采用Spring框架,而数据层采用JDBC接口,不仅缩短了开发周期也简化了系统维护;Excel导出和栏目定制技术满足了用户对系统前端展示的需求。分布式数据仓库在造价分布系统中的应用,满足了各级造价管理员的工作需要,同时对类似系统的设计也有很好的借鉴作用。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题的来源及研究意义
• 1.2 国内外研究现状
• 1.3 本文主要工作
• 第2章 相关技术理论基础
• 2.1 数据仓库技术
• 2.1.1 数据仓库的产生
• 2.1.2 数据仓库的定义
• 2.1.3 数据库与数据仓库
• 2.1.4 数据仓库的数据组织
• 2.1.5 分布式数据仓库
• 2.2 联机分析处理
• 2.2.1 OLAP的定义
• 2.2.2 OLAP的基本概念
• 第3章 系统的需求分析和总体设计
• 3.1 造价分析系统的设计要求和现状分析
• 3.1.1 设计要求
• 3.1.2 现状分析
• 3.2 系统业务需求
• 3.2.1 业务用户预结算统计台账及日常预结算进度查询
• 3.2.2 各管理层次综合报表查询
• 3.2.3 造价分析功能
• 3.3 前端展示需求
• 3.3.1 数据导出到Excel
• 3.3.2 栏目可定制
• 3.4 系统的数据源分析
• 3.4.1 系统的数据特点
• 3.4.2 数据接口
• 3.5 中石化造价中心网络现状
• 3.5.1 中石化网络结构
• 3.5.2 造价中心与各油区的网络连接
• 3.6 系统的功能设计
• 3.6.1 综合报表查询模块
• 3.6.2 预结算进度模块
• 3.6.3 造价分析
• 3.6.4 系统用户权限设计
• 3.7 系统的开发运行环境
• 3.7.1 系统开发环境
• 3.7.2 系统运行环境
• 第4章 造价分析数据仓库的设计
• 4.1 数据仓库的结构设计
• 4.1.1 数据仓库的体系结构
• 4.1.2 分布式数据仓库结构
• 4.2 数据仓库概念模型设计
• 4.2.1 实体关系模型和多维模型
• 4.2.2 星型数据模型
• 4.2.3 雪花数据模型
• 4.2.4 造价分析系统数据模型
• 4.3 数据仓库逻辑模型设计
• 4.3.1 确定粒度
• 4.3.2 维度分析
• 4.3.3 数据集市
• 4.3.4 数据分割
• 4.4 数据仓库物理模型设计
• 4.4.1 确定设计规范
• 4.4.2 确定索引策略
• 4.4.3 数据存储策略
• 4.4.4 存储分配优化
• 4.5 数据的抽取转换和装载
• 4.5.1 数据抽取
• 4.5.2 数据转化
• 4.5.3 数据装载
• 第5章 造价分析系统的联机分析处理与数据挖掘
• 5.1 联机分析处理
• 5.1.1 OLAP的数据组织
• 5.1.2 OLAP的多维分析
• 5.2 数据挖掘算法研究
• 5.2.1 数据挖掘的概念
• 5.2.2 决策数算法
• 5.2.3 ID3 算法
• 5.2.4 C4.5 算法
• 第6章 造价分析系统的实现
• 6.1 ETL过程的实现
• 6.1.1 存储过程优点
• 6.1.2 存储过程程序代码
• 6.1.3 外部表
• 6.2 造价分析系统架构
• 6.2.1 MVC开发模式结构
• 6.2.2 Struts应用框架
• 6.2.3 Spring应用框架
• 6.3 Excel导出功能实现
• 6.3.1 Excel导出数据表
• 6.3.2 Excel导出Java类
• 6.4 栏目定制功能实现
• 6.4.1 栏目定制数据表
• 6.4.2 栏目定制Java类
• 6.4.3 栏目定制窗口
• 6.5 系统界面
• 6.5.1 系统登录界面
• 6.5.2 造价分析模块界面
• 6.5.3 用户管理界面
• 总结与展望
• 参考文献
• 致谢