数据集成平台的研究与实现

论文摘要

随着企业信息化建设的不断深入,企业研发各式各样的应用软件,而这些应用软件各自设计自己的数据存储和访问方式,“数据孤岛”不可避免。因此,企业的一个关键工作就是将企业内外的各类信息管理系统及各类数据进行有效集成。数据集成可以为企业提供全面的数据共享,它是企业商务智能、数据仓库系统的重要组成部分。本文旨在通过对数据集成技术的研究,主要利用数据抽取和数据联邦技术建立数据集成平台,并根据适应企业要求的数据标准,实现异地异构数据库逻辑上或物理上的集成,使得数据格式标准化、数据访问一致化、数据存储集中化。本文将首先介绍数据集成的研究背景,接着讨论数据集成的关键技术,包括数据抽取和数据联邦技术的实施过程。然后,本文重点以某企业的实际项目——基础数据平台的设计与实现,来讲述数据集成技术在实际中的应用。侧重讲解本人参与实现的平台的元数据管理功能,统一视图和数据抽取这两种整合方式的实现过程,以及利用消息中间件WebSphere MQ监控数据整合工程实时信息的过程。通过基础数据平台可以对异构数据源进行有效的整合,满足针对多个小型数据库和业务数据的整合、交换管理以及数据的实时监控,实现面向数据服务的数据整合、交换管理功能。目前,基础数据平台己投入使用,具有一定的实用价值。

论文目录

致谢

摘要

ABSTRACT

1 引言

1.1 研究背景与意义

1.2 国内外研究现状

1.3 本文的主要工作及内容

2 数据集成方法及技术

2.1 数据集成概述

2.2 元数据管理

2.3 数据抽取

2.3.1 抽取分析

2.3.2 抽取规则

2.3.3 数据转换

2.3.4 数据加载

2.3.5 数据清洗

2.3.6 ETL工具

2.4 数据联邦

2.4.1 联邦系统

2.4.2 映射配置

2.4.3 建立统一视图

2.4.4 EII状态监控

2.4.5 EII工具

3 基础数据平台的设计

3.1 需求分析

3.2 设计目标

3.3 功能设计

3.3.1 数据管理

3.3.2 数据监控

3.3.3 数据整合

3.4 接口设计

3.4.1 数据库接口

3.4.2 通用JDBC接口

3.4.3 数据监控通讯接口

3.5 数据库设计

3.6 技术方案

3.6.1 WebSphere MQ

3.6.2 ExtJS

4 基础数据平台的实现

4.1 系统开发流程

4.1.1 数据持久层

4.1.2 业务逻辑层

4.1.3 表示层

4.1.4 使用Spring连接各个层次

4.2 数据管理模块的实现

4.3 数据整合模块的实现

4.3.1 统一视图

4.3.2 数据抽取

4.3.3 联邦数据库

4.4 数据监控模块的实现

5 基础数据平台的测试

5.1 测试方案

5.2 测试结果分析

6 总结与展望

6.1 总结

6.2 展望

参考文献

作者简历

学位论文数据集

相关论文文献

[1].航空发动机设计集成平台建设与实践[J]. 制造业自动化 2020(02)
[2].风洞试验数据资源集成平台设计[J]. 飞机设计 2020(02)
[3].医院集成平台的建设探讨[J]. 数字技术与应用 2020(04)
[4].城市轨道交通安防集成平台独立建设方案研究[J]. 都市快轨交通 2020(04)
[5].智慧供电调度指挥集成平台的设计与应用[J]. 电子技术与软件工程 2020(14)
[6].医院集成平台的建设与思考[J]. 电脑知识与技术 2018(06)
[7].安防集成平台的应用与发展[J]. 电视技术 2018(05)
[8].医院外联业务集成平台设计与应用实践[J]. 医学研究生学报 2018(09)
[9].集成平台在医院信息化建设中的应用[J]. 电子技术与软件工程 2018(20)
[10].医学检验区域化集成平台的建立与应用[J]. 信息与电脑(理论版) 2016(20)
[11].安防系统集成平台中的物联网技术运用实践微探[J]. 信息系统工程 2017(05)
[12].建设医院集成平台的实践与思考[J]. 信息与电脑(理论版) 2017(20)
[13].面向定量遥感研究的遥感模型集成平台设计与实现[J]. 遥感技术与应用 2015(02)
[14].互联网电视集成平台在疫情防控宣传中发挥独特作用[J]. 广电时评 2020(Z3)
[15].3500元以下主流集成平台装机推荐[J]. 现代计算机(普及版) 2010(01)
[16].理性看待医院集成平台建设[J]. 吉林医学信息 2014(05)
[17].突发公共事件下的数据集成平台建设——对约翰·霍普金斯大学新冠肺炎仪表盘的调研与启示[J]. 情报理论与实践 2020(11)
[18].城市轨道交通安防集成平台建设方案研究[J]. 城市轨道交通研究 2020(11)
[19].基于医院集成平台的数据质量核查系统应用研究与实现[J]. 现代信息科技 2020(01)
[20].面向船舶制造的统一数据库集成平台应用研究[J]. 舰船科学技术 2020(13)
[21].省级自然资源档案一体化集成平台建设探讨——以广东省国土资源档案馆为例[J]. 中国档案 2020(07)
[22].信息综合集成平台建设研究[J]. 露天采矿技术 2019(01)
[23].谈谈集成平台项目建设的一些体会[J]. 科技新时代 2018(01)
[24].浅析医院数据集成平台建设[J]. 信息系统工程 2019(09)
[25].互联网电视集成平台数据爬虫软件[J]. 电子测试 2017(24)
[26].陕西中烟企业集成平台的研究[J]. 信息与电脑(理论版) 2017(12)
[27].首个新型智慧城市可视集成平台上线[J]. 电子世界 2017(19)
[28].国产化实物保护集成平台研究[J]. 电脑知识与技术 2016(19)
[29].医院集成平台热的背后[J]. 中国信息界(e医疗) 2014(01)
[30].建立持续集成平台加强项目质量管控[J]. 金融电子化 2013(04)

标签：数据集成论文; 数据抽取论文; 数据联邦论文;

数据集成平台的研究与实现

论文摘要

论文目录

相关论文文献

猜你喜欢