中小企业异构数据库集成的研究与实现

论文摘要

由于企业信息化是一个渐进的过程,所以在企业中会出现信息孤岛的问题,它们同时构成了企业的异构数据库结构。如何解决这个问题,使得企业数据能够共享,是计算机领域研究的一个热点。本文设计并实现了中小企业异构数据集成系统,主要的研究内容如下:◆在对传统数据提取方法分析的基础上,针对我们开发的中小企业异构数据库集成实用系统,提出了两种新的增量数据提取方法:一种是虚拟日志,该方法利用触发器把数据库操作序列写入操作表中,通过读取操作表来获取增量数据。创新处在于我们将提取的对象缩小到了字段级,并提出了对日志的优化方法,减少了数据的冗余。另一种针对不支持触发器的数据库情况提出了SHA1法,利用SHA1算法对数据记录进行摘要运算,通过前后两次的摘要的对比来提取增量数据,该算法易于实现且速度快。◆在异构数据转换方法的研究中,通过对常用的转换方法的比较分析,我们提出了一种基于xml模版的异构数据转换方法。在该方法中,利用xml映射来消除命名异构;利用转换表达式来消除单位异构;利用转换函数,映射表来消除精度的异构,数据类型异构以及数据表示方法的异构。这样异构转换信息都保存在Xml模版里,与业务逻辑分开,实现了可扩展性。◆在分析现有的异构数据集成方法的基础上,针对它们对中小企业进行异构数据集成的不足,提出了一种适用于中小企业的异构数据集成方法:增量数据提取+Ftp传输+XML转换模版+签名加密。客户端程序利用增量提取程序来提取局部数据库增量数据,处理后通过Ftp把数据传递到服务器端。服务器端程序接收到数据后调用Xml转换模版进行异构消除,最后把数据到全局数据库。此方法不需要改动原有的业务系统程序,花费小,数据传输效率高,满足了中小企业异构数据集成的要求。最后用镇江安监局系统来验证该方法。该系统是在各子系统分散的环境下,实现中小企业异构数据库集成的一个典型例子,它的成功应用表明了我们提出的中小企业异构数据集成方法的可行性及良好的功能特性,达到了预期的目标。

论文目录

• 摘要
• ABSTARCT
• 第一章 绪论
• 1.1 选题背景
• 1.2 国内外研究现状
• 1.2.1 模式集成方法
• 1.2.2 数据复制方法
• 1.2.3 上述两种方法的优势和不足
• 1.3 本文的主要研究内容
• 1.4 本文的组织结构
• 第二章 相关技术综述
• 2.1 异构数据集成的特点
• 2.2 常用的增量数据提取方法
• 2.2.1 基于快照法
• 2.2.2 基于触发器法
• 2.2.3 基于日志法
• 2.2.4 基于时间戳法
• 2.2.5 基于API法
• 2.2.6 基于影子表法
• 2.3 常用的数据传输方法
• 2.3.1 邮件
• 2.3.2 TCP/IP Socket通信
• 2.3.3 消息中间件
• 2.3.4 Ftp传输
• 2.3.5 分布式计算机远程调用中间件
• 2.3.6 Web Service传输
• 2.4 XML技术
• 2.5 本章小结
• 第三章 异构增量数据提取方案分析
• 3.1 虚拟日志法
• 3.1.1 工作原理
• 3.1.2 操作跟踪表的定义
• 3.1.3 触发器的设计与实现
• 3.1.4 触发器的自动建立
• 3.1.5 虚拟日志的优化
• 3.2 SHA1法
• 3.2.1 SHA1算法描述
• 3.2.2 .net中SHA1算法实现
• 3.2.3 SHA1法数据提取方法的工作原理
• 3.2.4 SHA1法数据提取方法的具体实现
• 3.3 算法效率试验比较
• 3.4 本章小结
• 第四章 数据集成系统的实现
• 4.1 体系结构设计
• 4.2 系统子模块介绍
• 4.2.1 服务端程序
• 4.2.2 客户端程序
• 4.2.3 XML转换模块
• 4.2.4 主键转换模块
• 4.2.5 元数据模块
• 4.2.6 Sql语句生成模块
• 4.3 关键技术研究
• 4.3.1 异构模式的消解
• 4.3.2 数据的压缩与解压
• 4.3.3 数据的签名与加密
• 4.4 系统测试
• 4.4.1 同步测试
• 4.4.2 数据传输可靠性、及时性、安全性测试
• 4.4.3 异构性转换测试
• 4.5 系统实际应用情况
• 4.6 本章小结
• 第五章 总结与展望
• 5.1 论文总结
• 5.2 进一步的工作
• 致谢
• 参考文献
• 攻读硕士学位期间参与科研项目及撰写论文