基于MDA的多维数据抽取过程的研究与实现

基于MDA的多维数据抽取过程的研究与实现

论文摘要

随着计算机技术的高速发展,管理信息系统(MIS)逐渐普及,各行各业都开始采用管理信息系统实现日常办公、人员信息管理等。传统的业务系统不具备数据分析的能力。它们常年运行产生的海量数据大多被转移到历史数据库中、或被直接废弃,导致隐藏在数据背后的规律无法得知。因此近年来,针对海量数据进行分析处理的需求不断增多,在这种形势下,多维数据抽取技术应运而生。目前对多维数据抽取过程的研究有很多,但是研究的目标主要集中在商业领域、金融领域等,对教育行业的研究较少。教育行业与商业领域之间存在很大的行业差异,教育行业是一个非盈利性行业,面临经费不足、技术人员匮乏等困难。因此成本较高,使用难度较大的传统多维数据抽取技术与工具不能完全适用于该行业,传统的多维数据抽取技术面临新的问题和挑战,需要挖掘新的方法。针对教育行业的特有需求,本文进行了探索性研究,提出了一种基于MDA的多维数据抽取过程。首先建立多维数据模型,并详细介绍模型的描述方法与模型约束。其次,建立过程模型,将多维数据抽取过程的抽取、转换、装载阶段的业务操作抽象为平台无关模型,并采用基于过滤器-管道模式的体系结构组织模型。模型的具体内容和细节采用XML描述,克服了硬编码的局限性。使用模型驱动架构(MDA),提高了系统的重用性,同时降低了使用的难度。本文还探讨了基于MDA的多维数据抽取过程的实现,首先给出了系统的整体架构设计,接下来分别描述了数据转换机制,任务调度问题,过滤器机制,管道解析机制以及异常监控等问题。最后介绍了原型系统的设计与实现,并列举实例进行分析。本文的课题研究既有探索性的理论研究价值,也具有较大的应用价值和现实意义。希望能为教育行业的多维数据抽取提供一种有效、通用的解决方案。

论文目录

  • 摘要
  • ABSTRACT
  • 第1章 绪论
  • 1.1 研究背景
  • 1.2 模型驱动架构(MDA)
  • 1.3 研究现状
  • 1.4 主要研究内容
  • 1.5 本文结构
  • 第2章 基于MDA的多维数据抽取的系统架构
  • 2.1 多维数据抽取过程建模
  • 2.2 系统架构
  • 2.3 多维数据抽取的开发过程
  • 2.4 模型分类
  • 第3章 模型的建立与描述
  • 3.1 数据模型建模
  • 3.1.1 多维数据模型的分析
  • 3.1.2 多维数据模型的定义
  • 3.1.3 模型描述语言
  • 3.2 过程模型建模
  • 3.2.1 过滤器模型建模
  • 3.2.2 管道模型建模
  • 第4章 基于模型的多维数据抽取的实现
  • 4.1 数据转换机制
  • 4.1.1 抽象统一的数据格式
  • 4.1.2 异构数据的转换
  • 4.2 任务调度问题
  • 4.2.1 模型解析
  • 4.2.2 数据准备
  • 4.2.3 任务调度
  • 4.2.4 任务执行
  • 4.2.5 消息通信
  • 4.3 过滤器机制
  • 4.4 管道机制
  • 4.5 异常监控
  • 第5章 原型系统的设计与实现
  • 5.1 原型系统介绍
  • 5.2 多维数据抽取实例
  • 第6章 总结和展望
  • 参考文献
  • 致谢
  • 攻读硕士学位期间发表的学术论文
  • 攻读硕士学位期间参与科研项目情况
  • 学位论文评阅及答辩情况表
  • 相关论文文献

    标签:;  ;  ;  ;  ;  

    基于MDA的多维数据抽取过程的研究与实现
    下载Doc文档

    猜你喜欢