异构数据交换平台中若干关键问题研究

论文摘要

近年来,北京市轨道交通的智能化、自动化程度不断提高,已建成中心指挥系统、自动售检票系统等10多个应用系统,积累了大量的动静态数据资源,但这些数据分散在各个部门,这些部门由于业务流程繁杂、数据类型不同、存储结构不同,严重影响了各个系统之间的互连互检和协同工作,制约了各种信息系统建设和数据共享程度。因此,需加强对轨道交通动静态数据的整合利用,建立一套统一的轨道交通基础数据库,实现轨道交通信息资源的集成共享与数据标准统一。基于此需要,建立了北京城轨交通数据交换平台(以下称“交换平台”),在该交换平台中使用了消息队列机制,通过工作线程调用相应的处理器对消息队列中的消息进行处理来完成数据交换。本论文对上述交换平台中的若干问题进行了研究并在此基础上对已有交换平台进行了改进,主要工作如下：1.设计并实现了一种新的基于线程池的动态消息处理机制,利用线程池统一管理工作线程,限制工作线程的开启,减少工作线程数量,从而减小交换平台的资源开销,提高交换平台的交换效率。2.设计了一种消息队列优先级计算方法,对消息队列进行动态的调度,保证每一个消息队列中的消息都能得到及时的处理；3.设计了一种对象树模型算法,实现关系模式到XML模式的映射,进而完成数据模式转换。4.在对常用关系数据库数据类型比较的基础上,设计了一种数据格式匹配方法,完成异构系统的数据格式匹配。5.根据以上的改进策略对整个平台进行了重新设计并对各模块做了详细介绍。本论文的特色在于设计了一种新的消息处理机制,在该机制中,工作线程、消息队列、处理器完全解耦,可以根据交换平台的数据交换的负荷情况通过配置参数动态的调控交换平台的数据交换效率,具有很大的灵活性。测试表明,该机制在大数据量交换情况下,相比已有交换平台的消息处理机制,处理效率更高,运行更加稳定,另外通过异构数据库的数据模式转换和数据格式转换,实现了数据交换。

论文目录

• 致谢
• 中文摘要
• ABSTRACT
• 1 引言
• 1.1 论文选题背景
• 1.2 国内外研究现状
• 1.3 主要数据交换技术简介
• 1.4 本论文研究内容与安排
• 1.4.1 本论文研究内容
• 1.4.2 章节安排
• 2 关键技术介绍
• 2.1 XML技术及其作为数据交换标准的优势
• 2.1.1 XML技术简介
• 2.1.2 XML作为数据交换标准的优势
• 2.2 DTD和XML Schema
• 2.3 XML的解析技术介绍
• 2.4 线程池技术介绍
• 2.5 消息中间件技术
• 2.5.1 消息中间件介绍
• 2.5.2 JMS API介绍
• 2.6 本章小结
• 3 动态消息处理机制设计与分析
• 3.1 影响消息处理机制的因素分析
• 3.2 现有交换平台消息处理机制
• 3.3 一种新的基于线程池的动态消息处理机制TPBMPS
• 3.3.1 消息队列的优先级计算方法
• 3.3.2 消息处理机制
• 3.3.3 TPBMPS机制中相关问题处理
• 3.3.4 TPBMPS机制与现有机制比较
• 3.4 本章小结
• 4 模式映射与异构数据转换研究
• 4.1 关系模式到XML Schema模式的映射
• 4.2 异构数据转换
• 4.2.1 模式转换
• 4.2.2 格式转换
• 4.3 本章小结
• 5 交换平台总体设计
• 5.1 接入模块
• 5.1.1 已有系统接入
• 5.1.2 新建系统接入
• 5.2 交换模块
• 5.2.1 消息接收器
• 5.2.2 消息处理器
• 5.2.3 服务层
• 5.3 基础服务管理模块
• 5.3.1 系统注册子模块
• 5.3.2 数据源提取子模块
• 5.3.3 事务管理子模块
• 5.3.4 日志记录子模块
• 5.4 本章小结
• 6 总结与展望
• 6.1 全文总结
• 6.2 未来展望
• 参考文献
• 附录A
• 作者简历
• 学位论文数据集