数据共享平台数据抽取子系统的设计与实现

论文摘要

随着计算机技能的普及和信息技术的飞速发展，作为学术之源和人才摇篮的高等院校，使用数字化信息技术为高校师生提供更快更优质的信息服务，逐步达到数字化校园形态是高校进入现代化信息时代的标志，而“数据孤岛”现象是当前国内高校数字化校园建设的必然产物，为了解决数据孤岛带来的信息屏障，满足校园信息化的新的需求，就必须建立一个统一的数据共享平台作为数据层和应用层之间的桥梁，实现统一的数据标准，保证数据权威性、一致性、时效性，为科研、教学、管理等方面的用户提供数据资源的全面整合，提供跨部门、跨应用的全局业务服务。数据抽取子系统是数据共享平台实现的基础，为了满足数据共享平台的顶层需求，数据抽取子系统实现了如下内容：首先，依据ETL（Extraction-Transformation-Loading，数据提取、转换和加载）内部数据转换的原理为数据抽取工作建立一个系统的模型，为之后的开发工作奠定一个统一的模式基础，也能有效进行软件的功能升级和迭代开发维护。其次，建立一个良好的数据源监控措施，可通过定制监视规则让用户自定义监控对象，最小粒度能达到数据库表中的某个字段，并能设定抽取任务的工作周期，实现中心数据库“主动拉”式的数据抽取。第三，根据数据环境的实际需求设定合适的增量数据抽取机制，同时具备快照差分检测和日志分析检测两种增量数据检测手段，力求能在合适的场景中使用合适的方法为用户带来更高效更快捷的服务。第四，在信息服务层利用JasperReort插件工具实现灵活报表的功能，可使用户无需编程，只要通过直观、简单的操作步骤便可以轻松实现报表的开发和管理。第五，为适应多用户同时操作，采用spring的事务管理技术，对同一视图进行同时操作的事务处理，防止冲突的产生。并且通过事务管理，实现同一用户对多视图的同时操作，以及临时保存修改功能等。本文根据软件工程的思想，从系统的需求分析、系统模型设计、编程实现以及测试等方面，提出上述问题的合理解决方案，并详细介绍了数据抽取子系统的实现过程。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题来源及背景
• 1.2 项目开发的目的与意义
• 1.3 与课题相关的国内外研究状况
• 1.3.1 数据共享平台研究现状
• 1.3.2 数据抽取问题研究现状
• 1.3.3 增量数据检测技术国内外研究现状
• 1.4 本论文的主要内容及结构
• 第2章 数据抽取子系统需求分析
• 2.1 数据共享平台需求分析
• 2.2 数据抽取子系统功能需求
• 2.3 数据抽取子系统性能需求
• 2.4 本章小结
• 第3章 数据抽取子系统的设计
• 3.1 数据抽取子系统模型设计
• 3.1.1 功能节点设计
• 3.1.2 增量数据队列
• 3.1.3 多线程执行设计
• 3.1.4 元数据格式定义
• 3.2 基于快照差分技术的增量数据抽取
• 3.2.1 快照差分问题的描述
• 3.2.2 所采用算法的描述
• 3.2.3 算法正确性分析
• 3.2.4 快照差分功能的设计
• 3.3 基于日志分析的增量数据抽取
• 3.3.1 Oracle日志文件介绍
• 3.3.2 Oracle数据库日志分析过程
• 3.3.3 日志分析检测功能的设计
• 3.4 数据源监测功能的设计
• 3.5 灵活报表功能设计
• 3.5.1 灵活报表的部分概念描述
• 3.5.2 灵活报表功能的设计
• 3.6 系统数据存储结构的改进设计
• 3.7 本章小结
• 第4章 数据抽取子系统的实现
• 4.1 快照差分功能的实现
• 4.2 日志分析检测功能的实现
• 4.3 数据源监测功能的实现
• 4.4 灵活报表功能的实现
• 4.5 系统数据存储结构的改进实现
• 4.6 本章小结
• 第5章 数据抽取子系统测试
• 5.1 系统测试环境
• 5.2 测试数据和测试方法
• 5.3 功能测试结果
• 5.4 性能测试结果
• 5.5 本章小结
• 结论
• 参考文献
• 致谢
• 个人简历