基于XML的异构数据转换的研究与实现

论文摘要

由于应用管理系统的阶段性、技术性以及其它经济和人为因素的影响,企业中出现异构数据库的现象日益突出,“信息孤岛”式的应用使异构数据库的整合工作势在必行。而异构数据转换则是异构数据库数据整合过程中的关键问题,所以对异构数据转换的研究有着十分重要的理论和实际意义。论文在研究比较了异构数据库转换相关技术和策略的基础上,结合甘肃省电力公司的数据整合项目需求选择了灵活性高、扩展性好的基于XML技术的异构数据转换路线,并针对基于XML技术的单表数据转换方法不能保留数据库完整性约束而引起的转换数据不同步的问题进行了改进。论文在深入研究XSD的基础上使用其元素和成分设计了一套能够完全表征关系数据库各种信息和约束的模式映射规则,提出了基于关联表查询的改进方法,利用对相关主子表的连接操作实现原子查询,解决了单表转换中数据隐式不同步的问题,并针对关联查询多值依赖生成的冗余设计了早结构、晚标签的数据抽取导出方案,该方案能够通过结构化结果集配合冗余消除的方法最终生成与映射模式相同的无冗余的对象化XML数据文档。最后以数据抽取导出方法产生的良好结构的数据文档和目标数据库的同构映射模式为前提,实现了事务控制下的数据加载。通过对系统功能、中间XML数据文档和文档验证效果的测试,验证了论文的研究思路及技术路线的正确性和有效性,论文研究及测试结果表明能够使用冗余消除的关联查询方法和XML Schema的验证功能有效的完成电网信息管理系统中异构数据的可靠转换。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 论文研究背景
• 1.2 国内外研究现状
• 1.3 论文主要工作
• 1.4 论文组织结构
• 第二章 异构数据转换的方法研究
• 2.1 异构数据转换技术
• 2.1.1 异构数据库
• 2.1.2 异构数据转换要求
• 2.2 异构数据转换架构的研究
• 2.2.1 ETL 架构研究及分析
• 2.2.2 中间件架构研究及分析
• 2.2.3 数据转换架构的设计
• 2.3 异构数据转换策略的研究及分析
• 2.3.1 基于 ODBC 的数据转换
• 2.3.2 基于ADO 和OLEDB 的数据转换
• 2.3.3 基于XML 的数据转换
• 2.3.4 数据转换方法的比较
• 2.4 XML 对异构数据交换的支持
• 2.4.1 XML 文档描述
• 2.4.2 XML 文档解析
• 2.4.3 关系数据库与XML 的映射
• 第三章 基于 XML 异构数据转换系统设计
• 3.1 异构数据转换系统的总体方案设计
• 3.1.1 方案设计
• 3.1.2 中心数据库数据字典的设计
• 3.2 基于 XML 数据转换的设计
• 3.2.1 对单表XML 数据转换的改进
• 3.2.2 转换系统设计
• 3.3 关系数据库到 XML 模式映射的设计
• 3.3.1 表结构映射设计
• 3.3.2 表关系映射设计
• 3.3.3 数据类型映射设计
• 3.3.4 映射范围规则设计
• 3.4 转换规则的 XML 文档设计
• 3.4.1 转换规则分析
• 3.4.2 XML 转换规则的设计
• 3.5 数据抽取导出模块的设计
• 3.5.1 抽取导出策略设计
• 3.5.2 冗余消除处理的数据导出设计
• 3.6 数据加载模块的设计
• 3.7 本章小结
• 第四章 基于 XML 系统的异构数据转换的实现
• 4.1 数据库模式映射、转换规则和数据库连接配置文件的实现
• 4.1.1 中心数据库到XML 模式映射的实现
• 4.1.2 转换规则文件和数据库连接配置文件的实现
• 4.2 XML 文档解析模块的实现
• 4.3 数据抽取导出模块的实现
• 4.3.1 结构化查询装配
• 4.3.2 无冗余XML 数据文档生成
• 4.3.3 XML 数据文档验证
• 4.4 数据加载模块的实现
• 4.4.1 数据加载的实现
• 4.4.2 大对象类型的处理
• 4.5 本章小结
• 第五章 系统测试与结果分析
• 5.1 测试目标
• 5.2 测试环境及部署
• 5.3 转换功能测试和结果分析
• 5.4 XML 数据文档测试和结果分析
• 5.5 文档验证测试及结果分析
• 第六章 总结和展望
• 6.1 论文总结
• 6.2 展望
• 致谢
• 参考文献