实时数据仓库中基于消息的事件传输和处理机制的研究与实现

论文摘要

随着商业智能BI、数据挖掘DM和OLAP在现代企业的广泛应用,数据仓库作为这些技术的基础也来越受到重视,它为企业数据分析提供了面向主题的、集成的、非易失和随时间变化的数据。传统的数据仓库对企业的战略性的决策进行了有效支持,然而随着计算机技术的发展和市场竞争的需要,许多企业已经不满足于传统数据仓库只能周期的更新数据,这样最新数据不能及时反映在分析结果当中,以致错过最佳决策时机,丧失市场竞争力。因此在传统数据仓库应用的基础上,数据仓库还需要对企业各业务单元的日常运作提供战术性的指导,为此提出了实时数据仓库的要求。实时数据仓库是传统数据仓库技术与应用研究课题下的一个最新研究方向,旨在设计一个能实时提供最新业务数据并能有效与历史数据一起为企业战术和战略决策提供支持的解决方案,然而实施实时数据仓库却有很多难题需要解决,尤其是在原有传统数据仓库基础上的改造更是如此。本文首先介绍了实时数据仓库的基本概念和特点,详细分析了实施实时数据仓库面临的问题,改变以往仅从形式上,而是从面向用户的实时的理念基础上设计一个可行的实时数据仓库架构方案,该方案采用ODS保存最新实时数据,周期将实时数据加载到数据仓库,对于需要同时访问实时和历史数据的用户,应用接口采用即时数据融合技术提供给用户需要的数据,解决实时更新与传统数据仓库物理的冲突问题。其次,实时数据仓库中实时业务数据获取之后,实时或及时的事件处理和决策自动化对实时数据仓库来说至关重要。基于此,本文针对仓库系统资源竞争问题,采用消息队列和改进的主动规则技术,提出了一套可靠、可扩展并能解决系统负载平衡的异步事件驱动自动化处理方案,进一步设计了一套基于高级队列中间件和J2EE技术的实践参考方案。最后本文给出了方案的实现和性能测试分析,实验结果证明方案可行,文本所做的工作对于企业实现实时决策有一定的参考价值。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.3 论文研究内容
• 1.4 论文组织结构
• 第2章 相关技术概述
• 2.1 数据仓库
• 2.1.1 数据仓库的发展过程
• 2.1.2 数据仓库的概念及特征
• 2.2 实时数据仓库
• 2.2.1 实时数据仓库定义
• 2.2.2 实时数据仓库面临的问题
• 2.2.3 实时数据仓库现状
• 2.3 传统与实时数据仓库的比较
• 2.4 消息队列技术
• 2.4.1 消息通信基础
• 2.4.2 异步消息传输模式
• 2.4.3 排队机制
• 2.4.4 异步通信与同步通信
• 2.5 消息队列中间件
• 2.6 本章小结
• 第3章 实时数据仓库架构设计
• 3.1 实时数据仓库设计原则
• 3.2 实时数据仓库架构方案
• 3.3 关键技术分析
• 3.3.1 实时的数据导入
• 3.3.2 数据融合
• 3.3.3 实时处理
• 3.4 数据传输机制的选择
• 3.5 本章小结
• 第4章 基于消息的事件传输机制
• 4.1 ECA规则
• 4.2 采用消息队列的事件驱动自动化处理方案
• 4.2.1 设计要求
• 4.2.2 方案提出
• 4.3 情形单元设计
• 4.3.1 事件库
• 4.3.2 规则库
• 4.3.3 事件监测器设计
• 4.3.4 规则评估器
• 4.4 消息队列应用
• 4.5 本章小结
• 第5章 事件处理机制
• 5.1 消息监听
• 5.1.1 简单JMS客户机
• 5.1.2 会话bean作为监听者
• 5.1.3 消息驱动bean
• 5.2 Facade设计模式
• 5.3 处理单元设计
• 5.3.1 事件处理过程
• 5.3.2 处理单元模块设计
• 5.4 本章小结
• 第6章 系统实现与性能分析
• 6.1 系统应用案例
• 6.2 案例事件处理机制描述
• 6.3 仿真测试及分析
• 6.4 本章小结
• 第7章 结束语
• 7.1 工作总结
• 7.2 进一步工作
• 参考文献
• 致谢
• 攻硕期间参加的项目及发表的论文