基于数据网格的海量数据传输策略研究

论文摘要

计算机的应用领域不断扩大,已经逐渐遍及人类生活的各个领域。目前,在越来越多的科学、生产、工程等领域,产生的大量数据,如何有效地管理和利用这些数据,已成为一个重要研究课题。网格（Grid）应运而生,数据网格（Data Grid）是网格技术的延展。本文主要聚焦于数据网格的海量数据传输策略研究。本文首先讨论了数据网格信息服务的改进策略。然后,讨论了在文件级以上环型复制策略和线型复制策略及文件级以下的文件分块复制策略,用以提高传输效率。接着,进一步讨论如何对数据网格系统地建立一个优化的组播体系结构,进而在根本上提高数据传输效率。最后,体现从定性到定量的思想,综合考虑节点位置因素W’和数据因素W”,构建线性方程组,解线性参数,从而构建优化的组播树。在以前工作的基础上,还提出了从二维到三维向量博弈均衡的扩展,以及扩展到弹性有限维。本文主要有以下贡献：1.用环型复制策略和线型复制策略提高数据网格信息、服务的效率。在数据网格环境中,数据网格信息服务是网格计算的基本服务,它是其它数据网格应用的基础,是数据网格研究的重点和难点。为了提高信息服务的效率,本文提出了环型复制策略和线型复制策略两种改进策略。根据不同的网格配置,与其它策略相比较,本文最终证明了环型复制策略和线型复制策略能够提高信息系统的服务效率。2.在文件级以上用环型,线型复制策略,在文件级以下用文件分块复制法提高数据网格的传输效率。为了提高系统效率,本文提出了在文件级以上应用环型策略和线型策略。在文件级以下用文件分块复制法把数据网格文件划分成很多块,在多个服务器结点之间并行复制。考虑到不同的网格基础,与其它的复制策略相比较,基于试验证明了我们的方法能够提高数据网格的传输效率。3.用博弈均衡级层组播树算法提高数据网格的效率在构建数据网格体系结构的时候,应该考虑节点位置因素,和节点数据量因素。在上一节的基础上进一步体现从定性到定量的思想,精确提高数据网格传输效率。而且,位置和数据两个因素彼此独立,而又相互关联,彼此博弈而又均衡。本文找到它们的博弈均衡点,进而解出线性参数。扩展的模拟结果证明,与其它现存的著名算法相比较,该算法更适合于数据网格。4.本文的组播算法可以从2维扩展到3维向量博弈均衡,及弹性有限维。我们的研究工作是一个有机的体系结构。是本着从低级到高级,从简单到复杂的原则,逐层深入,逐层扩展。第N步是源与第N-1步,还可以推出第N+1步。本章把我们的模型从二维扩展到第三维,进一步扩展到弹性有限维。因为在理论上影响网格无线组播通讯的因数是无限的,但是在实际应用中是有限的,3,4,5维就已经很复杂了。我们的算法根据已有的平台,做适当的扩展,可以无缝的整合多个因数,所以具有更强的普世性,和扩展性。这一点是其他算法所不具备的。关于将来的工作。可以对数据向量研究专门的子算法。本文中,位置向量是复杂而变化的,但数据权向量是简单而确定的。然而,在实际应用中,数据量会随着时间和条件而改变。所以可以对数据权向量研究专门的子算法。第三,讨论两个向量的非线性关系：目前本文仅仅讨论两个向量的线性关系,但是现实中,系统传输不是根据两个向量的线性关系,而是根据两个向量之间的非线性关系。最后,在讨论了两个向量的关系以后,本文很容易地扩展到3个向量的关系,甚至可以扩展到多个向量的关系。

论文目录

• 摘要
• Abstract
• 目录
• 第1章 引言
• 1.1 研究背景
• 1.1.1 海量数据管理
• 1.1.2 数据网格技术的提出和发展
• 1.1.3 国际研究现状
• 1.2 相关研究内容
• 1.2.1 网格体系结构
• 1.2.2 Peer-to-Peer技术
• 1.2.3 网格信息服务
• 1.2.4 终端组播
• 1.3 本文的主要研究工作及创新点
• 1.3.1 用环型复制策略和线型复制策略提高网格信息服务的效率
• 1.3.2 在文件级以上和以下提高数据网格的传输效率
• 1.3.3 用级层组播树算法提高数据网格的效率
• 1.3.4 用博弈均衡级层组播树算法提高数据网格的效率
• 1.4 本文的组织结构
• 第2章 网格计算中的海量数据管理
• 2.1 海量数据的产生和特点
• 2.1.1 海量数据的产生
• 2.1.2 海量数据的特点
• 2.1.3 海量数据管理的需求
• 2.2 数据网格技术的提出和发展
• 2.2.1 网格的提出
• 2.2.2 数据网格的提出
• 2.3 网格体系结构
• 2.3.1 五层沙漏结构
• 2.3.2 开放网格服务体系结构OGSA
• 2.4 Peer-to-Peer计算概述
• 2.4.1 定义
• 2.4.2 目的
• 2.4.3 分类
• 2.4.4 组件
• 2.4.5 算法
• 2.5 本章小结
• 第3章 网格信息服务的优化策略
• 3.1 引言
• 3.2 信息服务系统结构概观
• 3.3 基准协议
• 3.3.1 网格信息协议
• 3.3.2 网格注册协议
• 3.4 集合目录服务
• 3.5 动态复制策略
• 3.5.1 模拟器
• 3.5.2 五种复制缓存策略
• 3.5.3 实验结果和结论
• 3.6 本章小结
• 第4章 数据网格的传输策略
• 4.1 序言
• 4.2 空间数据网格概述
• 4.2.1 空间数据网格的关键技术
• 4.2.2 空间数据网格的设计原则
• 4.2.3 空间数据网格的体系结构设计
• 4.3 著名的数据网格项目
• 4.4 用动态复制策略提高效率
• 4.4.1 采用动态复制策略的必要性
• 4.4.2 两种动态复制策略
• 4.4.3 两种动态复制策略的评价
• 4.5 文件分块复制法
• 4.5.1 基本原理
• 4.5.2 技术框架
• 4.5.3 下载块选择法
• 4.5.4 传控制算法
• 4.5.5 现实世界的经验
• 4.6 本章小结
• 第5章 数据网格的级层组播树算法
• 5.1 序言
• 5.2 终端组播概述
• 5.3 组播算法的结构和路由
• 5.3.1 簇形成算法
• 5.3.2 优化核加权路径树形成算法
• 5.3.3 组播路由算法
• 5.4 特性评价
• 5.4.1 模拟模型
• 5.4.2 在2维数据网格组播上的模拟观察
• 5.5 本章小结
• 第6章 博弈均衡的级层组播树算法
• 6.1 序言
• 6.1.1 其它算法
• 6.1.2 问题的提出
• 6.1.3 要解决的问题
• 6.2 组播结构路由算法
• 6.2.1 簇形成算法
• 6.2.2 相关权向量生成算法
• 6.2.3 最小加权路径树生成算法
• 6.2.4 组播路由算法
• 6.3 特性评价
• 6.3.1 模拟模型
• 6.3.2 模拟结果
• 6.4 本章小结
• 第7章 普适的博弈均衡的拓扑机制
• 7.1 序言
• 7.1.1 应用背景
• 7.1.2 扩展到3维的意义
• 7.1.3 其它算法
• 7.1.4 我们的动机
• 7.2 模型和分析
• 7.2.1 建立数学模型来描述系统
• 7.2.2 计算三个权向量
• 7.2.3 三个因素之间的关系
• 7.2.4 扩展到其它的因素和关系
• 7.3 组播结构路由算法
• 7.3.1 簇形成算法
• 7.3.2 相关权向量生成算法
• 7.3.3 最小加权路径树生成算法
• 7.3.4 组播路由算法
• 7.3.5 普适的实用的有限维向量算法
• 7.4 特性评价
• 7.4.1 模拟模型
• 7.4.2 模拟结果
• 7.5 本章小结
• 第8章 总结
• 8.1 序言
• 8.2 贡献
• 8.3 将来的工作展望
• References
• 作者在攻读博士期间的主要学术成果和履历
• 致谢
• 附录