数据交换管理系统任务设计器的设计与实现

论文摘要

随着信息技术以及数据仓库技术的发展，政府部门引进各类信息系统以支持企业管理和决策。同时数据的异构性严重阻碍了部门之间的信息交流与资源共享，给企业决策带来困难，因此异构数据的交换需求日益增加。ETL技术能够将各类异构数据进行整合、清洗、转换、加载，是解决异构数据源集成与共享的关键技术。实验室以沈阳市安监局综合安监管理为背景设计并开发了数据交换管理系统。以ETL技术为核心的任务设计器能够制定各种数据处理规则、规范数据交换流程，是数据交换管理系统的核心模块。本文对数据交换任务设计器所涉及到的相关理论与技术进行深入研究，包括ETL中的数据抽取、数据转换、数据加载、数据质量、任务流程等理论，元数据、Web Service以及XML技术。结合数据交换管理系统的整体需求，本文在ETL技术的基础上提出了基于元数据的数据交换管理系统整体架构。结合该架构对任务设计器进行整体设计，包含资源、作业、任务的设计、各种元数据的定义、元数据管理、元数据库设计。最后根据设计思想采用MVC设计模式以及Java与Flex通信技术实现了任务设计器的所有功能，包含各种资源元数据配置以及任务流程元数据配置等。并对数据交换引擎中的资源功能实现类以及任务调度器的工作原理进行介绍。最后对任务设计器进行系统集成测试，通过测试结果证明其可行性和正确性。

论文目录

• 摘要
• ABSTRACT
• 引言
• 第一章 绪论
• 1.1 课题研究背景和意义
• 1.2 国内外研究现状
• 1.3 本文的主要工作
• 1.4 论文的组织结构
• 第二章 相关理论及技术研究
• 2.1 ETL 技术
• 2.1.1 数据抽取
• 2.1.2 数据转换
• 2.1.3 数据加载
• 2.1.4 数据质量与数据清洗
• 2.2 元数据
• 2.3 Web Service 技术
• 2.4 XML 技术
• 第三章 数据交换管理系统架构设计
• 3.1 需求分析
• 3.2 系统功能架构介绍
• 3.3 基于元数据的系统架构设计
• 3.4 系统物理架构介绍
• 第四章 任务设计器的设计
• 4.1 任务设计器的总体结构
• 4.2 核心对象的设计
• 4.2.1 资源
• 4.2.2 作业
• 4.2.3 任务
• 4.3 元数据定义
• 4.3.1 抽取元数据
• 4.3.2 转换元数据
• 4.3.3 加载元数据
• 4.3.4 任务流程元数据
• 4.4 元数据管理
• 4.4.1 资源元数据的封装标准
• 4.4.2 任务流程元数据的存储原则
• 4.5 元数据库设计
• 4.5.1 基本信息数据表设计
• 4.5.2 任务流程数据表设计
• 第五章 任务设计器的实现
• 5.1 系统开发环境简介
• 5.2 图形化任务设计实现
• 5.2.1 设计模式
• 5.2.2 Java 与 Flex 通信模块实现
• 5.2.3 模型实现
• 5.2.4 视图实现
• 5.2.5 控制器实现
• 5.3 资源功能实现类
• 5.4 任务调度器介绍
• 第六章 任务设计器的应用与集成测试
• 6.1 测试环境
• 6.2 系统集成测试
• 6.2.1 准备数据
• 6.2.2 配置任务
• 6.2.3 任务调度
• 6.3 测试结果分析
• 结束语
• 参考文献
• 发表文章
• 致谢