并行数据处理中间件体系结构的研究和应用

论文摘要

随着数据库技术及网络技术的发展,信息量越来越庞大,从数据库管理系统的应用而言,数据量达到TB乃至PB级,即使运行在高性能的大型主机上,在处理大量并发用户及大量数据时,也难以满足应用对CPU和I/O的性能要求。因此,采用并行技术拓展数据处理应用成为一种迫切的需要。为了解决海量数据和异构数据的管理和计算问题,人们提出了数据处理中间件的概念,利用中间件使相关的数据库协同工作,实现互操作。并行数据处理中间件系统的开发,能够以较小的代价实现数据库并行操作,执行简单、结构灵活。本课题主要研究并行数据处理中间件系统的体系结构及主要涉及的工作部件。本文利用现有PC机、成熟的网络技术和数据库群集技术,研究了并行数据处理中间件的层次结构、硬件结构、接口通信技术、功能结构及各功能所涉及的关键技术。涉及内容包括:基于SN结构的群集管理系统模型,系统组件模型,群集工作状态模型;对中间件系统的元数据进行分析,研究并设计了中间件系统元数据的管理;查询执行控制系统的工作原理及结果综合过程;提出了采用数据放置和缓存系统提高系统性能的思想,包括数据放置的主要方法和策略;缓存系统的内容、组织及管理。根据实际应用环境,实现了并行数据处理中间件系统建立模块和运行模块的功能。对所研究及设计的系统进行了系统实验和现场测试,根据结果对并行数据处理中间件系统的性能进行了评价。目前,该并行数据处理中间件系统,已经在大型应用工程中得到实际应用。并行数据处理中间件系统的研究和实现,为用户提供了统一的服务接口和管理平台,提高了系统的性能,增强了系统的可用性和可维护性,保护了用户的已有投资。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题来源及背景
• 1.1.1 课题来源
• 1.1.2 课题背景
• 1.2 课题研究的目的与意义
• 1.3 国内外研究现状分析
• 1.3.1 群集系统
• 1.3.2 并行数据处理技术
• 1.3.3 数据处理中间件
• 1.4 课题主要研究内容
• 1.5 论文的组织
• 第2章 并行数据处理中间件体系结构的研究
• 2.1 并行数据库体系结构
• 2.1.1 SM体系结构
• 2.1.2 SD体系结构
• 2.1.3 SN体系结构
• 2.1.4 三种结构的对比
• 2.2 并行数据处理中间件系统
• 2.2.1 中间件功能结构
• 2.2.2 信息服务
• 2.2.3 系统运行
• 2.3 群集管理系统的研究
• 2.3.1 全局资源管理
• 2.3.2 单一系统映像
• 2.4 本章小结
• 第3章 并行数据处理中间件的设计
• 3.1 并行数据处理中间件总体结构的设计
• 3.1.1 并行数据处理中间件三层框架
• 3.1.2 并行数据处理中间件硬件结构
• 3.1.3 并行数据处理中间件系统体系结构
• 3.1.4 并行数据处理中间件系统各层间的接口通信
• 3.1.5 并行数据处理中间件功能结构
• 3.2 群集管理系统的设计
• 3.2.1 群集管理系统模型
• 3.2.2 群集管理系统功能描述
• 3.2.3 群集资源管理系统的组件模型
• 3.2.4 群集资源管理系统的工作状态模型
• 3.3 并行数据处理元数据的设计
• 3.3.1 元数据的分析
• 3.3.2 并行数据处理中间系统的元数据模型
• 3.3.3 元数据上的操作
• 3.4 查询执行控制系统的设计
• 3.4.1 查询执行控制系统功能描述
• 3.4.2 查询执行控制系统工作原理
• 3.4.3 查询结果综合
• 3.5 相关功能的设计
• 3.5.1 中间件系统数据放置的设计
• 3.5.2 中间件系统缓存系统的设计
• 3.6 本章小结
• 第4章 并行数据处理中间件系统的实现
• 4.1 总体结构的功能实现
• 4.2 建立模块的实现
• 4.2.1 群集管理系统的实现
• 4.2.2 数据字典模块的实现
• 4.2.3 通讯模块的实现
• 4.3 系统运行模块的实现
• 4.3.1 语法分析模块的实现
• 4.3.2 执行控制模块的实现
• 4.3.3 客户应用端的实现
• 4.4 并行数据处理中间件系统实验及应用测试
• 4.4.1 数据放置和划分方案测试
• 4.4.2 缓存效果测试
• 4.4.3 应用现场测试
• 4.5 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文和取得的科研成果
• 致谢