信息分发网格的副本管理和负载均衡

论文摘要

网格计算突破了现有的资源限制,将分布的资源组织起来,协同解决复杂的科学计算与工程应用问题,为用户提供了强大的计算能力,极大地推动了科学研究和工程实践的发展。网格可容纳的节点数量较大,且每个节点具有高度的自治性。在这样一个松耦合的分布式异构系统中,对资源进行有效地调度,保持良好的负载均衡具有重要意义。本文研究信息分发网格中基于副本的系统流量负载均衡问题,设计了信息分发网格的负载均衡子系统框架,解决了几个密切相关的问题,主要包括:(1)基于流言传播的新信息推送。流言传播算法是分布式系统中的一种更新传播算法。本文提出基于流言传播的信息推送算法,该算法具有较好的扩散速度,且每个节点转发消息的数量一样,因此是消息负载均衡的。(2)基于最近访问状态的副本创建和替换。网格的数据访问具有时间局部性,而现有的网格副本创建策略没有综合考虑副本的访问状态,因此没有很好地利用时间局部性。本文的副本创建和替换策略对数据副本的最近访问状态和使用频率非常敏感,因而出现时间局部性时,该策略会很快做出响应,在本地创建副本,避免了使用频率高的数据反复在系统内传输。另外,本文的副本创建和替换策略中的文件相对负载和副本价值计算都依赖于数据获取算法。(3)基于节点集负载均衡的数据获取。现有的网格数据获取一般是选择最优的副本,本策略则是根据各副本节点的负载,从不同节点获取数据的不同分块。在一次数据获取中,该算法保证了所涉及的多个副本节点的负载均衡,但仍有可能产生这样的节点集,该节点集的整体负载相对于系统其它节点是较高的。因此,提出基于副本迁移的负载均衡来进一步解决该问题。(4)基于热点副本迁移的负载均衡。基于信息分发系统的副本网络,该算法可以降低超负节点的负载,同时把热点副本均匀地分布到信息分发网格系统中,从而解决热点集问题。另外,该算法只依据局部信息,即可选择待迁移的副本集,以及副本迁移的目的节点集。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题来源
• 1.2 背景与意义
• 1.3 信息分发现状
• 1.4 负载均衡现状
• 1.5 网格调度现状
• 1.6 主要工作
• 1.7 论文组织
• 第二章 相关技术
• 2.1 网格资源调度与负载均衡
• 2.1.1 现有负载均衡方法
• 2.1.2 负载均衡算法分类
• 2.1.3 算法的要素和参数
• 2.2 网格副本管理技术
• 2.2.1 复制与副本
• 2.2.2 副本管理系统
• 2.2.3 创建与替换
• 2.2.4 定位与目录
• 2.2.5 副本选择
• 2.2.6 副本更新
• 2.2.7 数据恢复
• 2.3 本章小结
• 第三章 信息分发系统结构设计
• 3.1 系统架构设计
• 3.1.1 网络结构
• 3.1.2 用例分析
• 3.1.3 系统架构
• 3.2 本课题在系统中的位置
• 3.3 本章小结
• 第四章 负载均衡子系统设计
• 4.1 负载均衡系统框架
• 4.1.1 用例分析
• 4.1.2 系统框架
• 4.1.3 实现流程
• 4.2 信息推送模块
• 4.2.1 信息推送策略分析
• 4.2.2 基于流言传播的新信息传播
• 4.2.3 模块实现
• 4.3 数据分布存储模块
• 4.3.1 分块分布存储
• 4.3.2 数据信息管理
• 4.3.3 模块实现
• 4.4 副本管理模块
• 4.4.1 副本管理体系结构
• 4.4.2 创建与替换策略分析
• 4.4.3 副本创建
• 4.4.4 副本替换
• 4.4.5 算法分析
• 4.4.6 模块实现
• 4.5 数据获取模块
• 4.5.1 负载评估与负载均衡策略分析
• 4.5.2 基于节点集负载均衡的数据获取
• 4.5.3 基于热点副本迁移的负载均衡
• 4.5.4 实验和分析
• 4.5.5 模块实现
• 4.6 数据传输模块
• 4.7 本章小结
• 第五章 结论与展望
• 致谢
• 参考文献
• 攻硕期间取得的研究成果