数据仓库中面向服务架构的近实时更新机制应用研究

论文摘要

随着Web技术和企业信息化的迅猛发展,企业中业务信息系统的数据更新速度加快,传统的数据仓库中周期性的数据更新逐渐无法适应数据的快速变化,不能及时为决策人员提供最新报表和数据分析。实时数据仓库具有探测数据变化、实时加载新数据和快速更新数据的能力,能够减少数据更新的延迟,但数据传输较为分散,可能增加网络和系统的负担。近实时数据更新机制能够缓存部分数据,在提供数据近实时更新的同时,使网络数据传输相对集中。本文针对异构信息系统与数据仓库中的数据不能实时同步的问题,在研究面向服务架构(SOA)和数据服务相关技术的基础上,使用客户端/服务器的系统模型提出了基于SOA的近实时数据传输机制。使用事件驱动体系探测数据变化和连续传输数据,使用数据服务和数据压缩进行跨平台的数据传输,变更数据捕获与增量数据更新被用于提高数据更新的速度,并对该系统进行了详细设计、实现与验证。本文完成的主要工作如下:①分析近实时数据仓库发展的国内外现状,研究近实时数据仓库的相关技术。对于多种变更数据捕获方式,对比分析了它们的优缺点和适用场合。②研究SOA与企业服务总线的相关技术,分析了SOA在数据仓库中应用的优势。研究数据服务在SOA中的应用以及事件驱动体系与SOA的联系,分析了XML数据压缩的多种压缩方式,比较了它们的应用场合。③设计了客户端/服务器模式的近实时数据传输系统。客户端用于监控数据变化并捕获变更数据,事件驱动体系用于提供主动实时的数据传输,服务器用于数据格式转换和数据增量刷新和静态数据同步。④实现了近实时数据更新系统主要模块的原型。包括客户端的事件驱动体系,变更数据捕获,基于数据服务的数据访问,服务器端的数据增量刷新。使用XSLT进行SOAP消息的转换,使用gzip方式进行XML数据流压缩,企业服务总线用于服务注册与集成。⑤使用实例对系统进行了测试。验证了设计的可行性和合理性,对数据压缩的性能进行了分析,并将本系统与其他类似系统进行对比。

论文目录

• 摘要
• ABSTRACT
• 1 绪 论
• 1.1 课题研究背景与研究意义
• 1.2 国内外研究现状
• 1.3 本文的主要工作
• 1.4 本章小结
• 2 相关技术分析
• 2.1 近实时数据仓库
• 2.2 企业服务总线
• 2.3 事件驱动型 SOA
• 2.4 本章小结
• 3 数据服务与数据压缩技术研究
• 3.1 变更数据捕获
• 3.1.1 基于日志文件的变更数据捕获
• 3.1.2 与其他变更数据捕获方式比较
• 3.2 基于 SOA 的数据服务
• 3.2.1 传统的异构数据访问方式
• 3.2.2 基于 SOA 的数据服务
• 3.2.3 数据服务与传统方式对比分析
• 3.3 SOAP 消息传递数据
• 3.3.1 XSLT 转换 SOAP 消息
• 3.3.2 多种 SOAP 消息压缩方法比较
• 3.3.3 基于数据压缩的 SOAP 消息传递
• 3.4 本章小结
• 4 基于 SOA 的近实时数据仓库更新机制设计
• 4.1 需求分析
• 4.2 设计目标
• 4.3 系统体系结构
• 4.4 近实时数据仓库设计
• 4.4.1 近实时数据仓库模型
• 4.4.2 数据格式登记格式转换
• 4.4.3 数据传输方向订阅
• 4.5 客户端变更数据捕获设计
• 4.5.1 更新驱动机制
• 4.5.2 数据交换流程
• 4.6 基于数据服务的传输机制
• 4.6.1 基于事件驱动的访问机制
• 4.6.2 基于 SOA 的数据服务层
• 4.6.3 基于 ESB 的通信模块
• 4.7 本章小结
• 5 基于 SOA 的近实时数据仓库更新机制实现
• 5.1 变更数据提取模块实现
• 5.1.1 基于数据库管理系统的变更数据捕获
• 5.1.2 基于 ADO.NETDataService 的数据访问
• 5.1.3 数据转换与压缩
• 5.1.4 Web 服务与 SOAP 消息产生
• 5.2 基于事件驱动体系的传输机制实现
• 5.2.1 事件定义与事件产生
• 5.2.2 事件产生器与监听器实现
• 5.2.3 事件与服务的对应关系
• 5.2.4 基于 ESB 的数据通信
• 5.3 SOAP 数据解析与刷新模块实现
• 5.3.1 SOAP 消息解析
• 5.3.2 XML 数据解压与解析
• 5.3.3 实时分区数据更新
• 5.3.4 实时分区数据同步
• 5.4 数据更新实例分析
• 5.5 应用效果分析
• 5.6 本章小结
• 6 结论与展望
• 6.1 结论
• 6.2 工作展望
• 致谢
• 参考文献
• 附录