广域网协议在HPC集群上的应用分析

论文摘要

随着网络技术的快速发展,集群系统（尤其是PC集群系统）目前已被许多普通用户所使用。但是由于受到网络带宽的限制,使得集群中各处理器间的进程通信速度问题成为制约并行系统效率的主要瓶颈。因此,普及和发展集群技术的关键问题之一,是如何提高系统网络通信的性能。鉴于绝大多数PC集群系统都使用TCP/IP协议的情况,本文着重分析了广域网协议在PC集群系统中的应用,并针对它存在的问题,结合MPI（Message Passing Interface）的通信机制,提出了改进HPC集群的网络性能的方法。 现在PC机的性能不断提高,价格不断下降,很好的性能价格比使很多单位普遍使用PC集群。Linux是Unix在PC机上的实现,它是一种开放源代码的分时操作系统。Linux提供的强大的网络功能,也使它成为了PC集群系统的主流操作系统。MPI作为当前主流的并行编程工具之一,日益受到广大用户的青睐,它主要是通过借助操作系统提供的socket机制来实现具体的通信功能。 MPI消息传递方式是被广泛应用并行机的一种模式,特别适用于那些分布存储的并行机。十多年来,这种模式在重要的计算应用中已取得了实质进步。MPI标准己定义了与C语言、C++和Fortran的绑定。MPICH是MPI的一种稳定的实现,它可以建立与C语言、C++、Fortran 77、Fortran 90、Java的连接。 本文着重分析了作为分布式进程间的通信手段的socket通信机制在Linux中的实现。分析了广域网络协议在集群系统的具体应用,并找出TCP/IP协议不适用于集群系统的地方,进一步讨论了MPI通信机制的实现,并提出改进网络性能的方法。并且在100M的以太网下设计了基于Linux操作系统的PC集群的快速通信协议,来提高集群系统的通信性能。

论文目录

• 郑重声明
• 摘要
• Abstract
• 前言
• 1 绪论
• 1.1 背景
• 1.2 本文的工作简介
• 2 LINUX集群简介
• 2.1 LINUX简介
• 2.2 集群系统
• 3 集群通信性能分析
• 3.1 集群通信开销分析
• 3.2 TCP/IP协议对集群系统网络性能的影响
• 3.3 提高和改进集群通信性能的方法
• 3.4 典型的通信协议机制
• 4 改进集群通信性能的设计
• 4.1 PC集群的软硬件环境
• 4.2 设计的基本框架
• 4.3 低层通信的实现
• 4.4 进程管理
• 4.5 进程间通信
• 4.6 缓冲区的管理
• 4.7 MPI及其应用
• 5 改进HPC集群通信协议的实现
• 5.1 基本设计思想
• 5.2 采用选择重传机制
• 5.3 数据包与选择重传包的设计
• 5.4 发送和接收的具体实现过程
• 5.5 进程间通信类型
• 5.6 共享内存
• 5.7 同步机制
• 6 性能测试与分析
• 6.1 性能测试的方法
• 6.2 关于测试结果的分析
• 总结
• 致谢
• 参考文献
• 附录