科学数据网格分布式查询框架及其关键技术研究

论文摘要

数据网格研究的一个主要目标是实现海量分布式异构数据资源的共享。在网格这样一个松耦合的分布式异构系统中,在不破坏数据资源管理者自治性的条件下如何对这些共享的海量异构数据资源进行有效的查询是一个极具挑战性的难题。面对如此挑战,本文基于科学数据网格的实际情况对其分布式查询处理系统进行了深入的研究。论文研究的主要内容和创新成果如下:1.设计了一个适用于科学数据网格环境的分布式查询框架――SDGDQA。整个框架分为三层:用户接口层、中间协调层和查询层。用户接口层在框架中充当人机交互界面的角色,它一方面接受用户的查询请求,主动帮助用户细化查询要求并显示查询结果,另一方面又在整个过程中记录并学习用户的兴趣和习惯;中间协调层是框架的核心部分,主要实现查询计划的全局优化、数据资源的定位、查询计划的拍卖和分发等功能;查询层主要实现查询计划的竞标和局部优化等功能。为了适应结点的局部自治性和动态变化性,本文在SDGDQA中使用了移动agent技术,并重点说明了移动agent的迁移和通信策略。2.基于小世界模型的数据资源定位机制。分析了科学数据网格的小世界网络特征,并对其进行结构化设计。按照虚拟组织-机构-网格实体（资源）这三个层次,建立了分层数据资源定位模型。基于Gossip协议建立了虚拟组织内部以及虚拟组织之间两个层次上的消息扩散机制,并提出了两层数据资源搜索算法。该数据资源定位模型符合网格环境的分布式特点,便于数据资源的动态加入与退出,具有很好的可扩展性。改进后的分层Gossip机制减小了消息扩散负荷,增大了扩散范围,能有效地更新在各分布式信息服务器中存储的异地资源信息。两层数据资源搜索机制能够有目的地选择结点,从而克服了搜索的盲目性,有效提高了数据资源查询的效率和性能。3.基于市场机制的查询计划分配模型。首先把SDGDQA中的查询计划看作一种网格资源,然后根据数据网格的特点和市场机制特性的部分一致性,利用市场机制来实现查询计划的分配,并详细介绍了查询计划分配模型的系统结构、具体经济模型、协商协议以及竞标和拍卖算法,最后对模型中的拍卖师和竞标者的收益进行了分析。分析表明基于市场机制的查询计划分配模型具有以下优点:（a）从原来资源分配以系统为中心转化为以用户为中心;（b）为查询资源提供者提供公平存取查询计划的基础;（c）鼓励查询资源提供者贡献他们的空闲资源并能从中获利,有利于调节网格资源的供需平衡,便于建立大规模的网格资源分配系统;（d）允许查询计划提供者表达他们的需求和目标;（e）查询计划提供者和查询资源提供者能够根据自己的实际情况做出决策,最大化各自的效用和利益。4.基于遗传规划的查询优化算法及其收敛性分析。提出一种基于遗传规划的查询优

论文目录

• 摘要
• 图目录
• 表目录
• 第一章 引言
• 1.1 研究背景
• 1.2 研究意义
• 1.3 问题的提出和本文的主要贡献
• 1.3.1 问题的提出
• 1.3.2 本文的主要贡献
• 1.4 论文的组织
• 第二章 分布式查询处理研究综述
• 2.1 分布式查询处理框架
• 2.1.1 查询计划及其等价的概念
• 2.1.2 查询处理的流程
• 2.1.3 现有分布式查询框架介绍
• 2.1.4 现有分布式查询框架分析
• 2.2 查询优化算法
• 2.2.1 相关定义
• 2.2.2 查询优化的体系结构
• 2.2.3 现有查询搜索策略介绍
• 2.2.4 现有查询搜索策略分析
• 2.3 小结
• 第三章 科学数据网格分布式查询框架—SDGDQA
• 3.1 本文所讨论的科学数据网格场景特点
• 3.2 科学数据网格下分布式查询框架的特点和需求
• 3.2.1 科学数据网格下分布式查询处理的特点
• 3.2.2 科学数据网格下分布式查询框架的需求
• 3.3 移动agent 技术
• 3.3.1 移动agent 定义
• 3.3.2 移动agent 模型
• 3.4 SDGDQA 框架
• 3.4.1 SDGDQA 框架描述
• 3.4.2 SDGDQA 中移动agent 的迁移和通信
• 3.4.3 SDGDQA 中的相关问题描述
• 3.5 SDGDQA 的特点
• 3.6 本章小结
• 第四章 SDGDQA 的数据资源定位机制
• 4.1 相关研究
• 4.2 科学数据网格中的小世界特性
• 4.2.1 小世界模型
• 4.2.2 科学数据网格中的小世界特征
• 4.3 数据资源定位的模型
• 4.3.1 相关定义
• 4.3.2 数据定位的模型
• 4.3.3 机构内部的分层模型
• 4.3.4 机构信息获取
• 4.3.5 虚拟组织的构建和撤销
• 4.3.6 虚拟组织成员变化
• 4.4 消息扩散机制
• 4.4.1 消息扩散算法
• 4.4.2 算法性能分析
• 4.4.3 实验结果
• 4.5 两层的数据资源搜索机制
• 4.5.1 两层的数据资源搜索算法
• 4.5.2 算法性能分析
• 4.5.3 实验结果
• 4.6 数据资源定位模型的小世界网络特征分析
• 4.7 本章小结
• 第五章 SDGDQA 的查询计划分配模型
• 5.1 相关研究
• 5.2 相关经济学原理
• 5.2.1 机制设计原理
• 5.2.2 资源分配模型
• 5.3 基于市场机制的查询计划分配模型
• 5.3.1 相关概念和定义
• 5.3.2 系统结构
• 5.3.3 查询计划分配的经济模型
• 5.3.4 协商协议
• 5.3.5 分配算法
• 5.4 模型的收益分析
• 5.4.1 投标者收益分析
• 5.4.2 拍卖师收益分析
• 5.5 本章小结
• 第六章 SDGDQA 的查询优化及其收敛性分析
• 6.1 遗传规划的基本思想
• 6.2 相关概念和定义
• 6.3 基于遗传规划的查询优化算法
• 6.3.1 多连接表示式的编码
• 6.3.2 初始种群的生成
• 6.3.3 适应度函数的确定
• 6.3.4 遗传规划的运算算子的设计
• 6.3.5 算法性能分析
• 6.3.6 实验结果
• 6.4 基于遗传规划查询优化的收敛行分析
• 6.4.1 遗传规划的Markov 链描述
• 6.4.2 收敛性分析
• 6.5 本章小结
• 第七章 结束语
• 7.1 本文工作总结
• 7.2 下一步研究方向
• 参考文献
• 致谢
• 作者简历