集群监控中的数据采集技术研究

论文摘要

当前集群系统已经成为高性能计算机体系结构发展的趋势,但在实际中应用集群系统时为便于对集群进行管理维护,需要能对构成集群的各个结点以及相关设备的状态进行实时监控。因此研究集群监控中的数据采集技术并设计一个监控系统对集群技术的发展和应用具有重要的现实意义。以Lustre存储集群为背景,对存储集群环境下的远程监控技术进行了分析,并在此基础上实现了一个针对Lustre存储集群的监控系统原型ClusterMonitor。ClusterMonitor集群监控系统基于CIM/WBEM(Common Information Model/Web Based Enterprise Management)架构,由节点驻留程序MonDaemon,监控服务端程序MonServer,远程用户程序MonGui三个部分组成。对CIM/WBEM架构的遵循使得ClusterMonitor具有良好的可扩展性,而且不再依赖于传统的数据库。监控数据采集包括监控数据的获取和监控数据的汇集。监控数据获取方面,设计了一个基于Linux内核模块的内核态监控数据获取方案,可以通过一个统一接口获取所有监控数据,并且不需要解析文本文件;监控数据汇集方面,为适应大规模集群监控的需要,设计了一个二叉树自收敛的监控数据汇集协议,采用这种协议节点能自动发现数据汇集代理并产生优化的汇集路径。通过实验以对内存信息的获取为例验证了内核态监控数据获取方案的可行性,对二叉树自收敛汇集协议的定量分析表明了将该汇集协议应用于大规模的集群监控时将具有良好的实时性。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 课题背景
• 1.2 国内外相关研究概况
• 1.3 本课题主要研究内容
• 2 集群监控系统的设计方案分析
• 2.1 监控系统需求和设计准则
• 2.2 监控系统的体系结构
• 2.3 监控系统设计的关键问题
• 2.4 本章小结
• 3 ClusterMonitor 集群监控系统的实现
• 3.1 CLUSTERMONITOR 组成
• 3.2 节点驻留程序MONDAEMON 的实现
• 3.3 监控服务程序MONSERVER 的实现
• 3.4 用户界面程序MONGUI 的实现
• 3.5 本章小结
• 4 监控数据采集技术的研究
• 4.1 现有的监控数据采集方法及缺陷
• 4.2 内核态监控数据获取方案的设计
• 4.3 二叉树自收敛汇集协议的设计
• 4.4 本章小结
• 5 实验与分析
• 5.1 CLUSTERMONITOR 集群监控系统功能测试
• 5.2 内核态监控数据获取方案可行性测试
• 5.3 二叉树自收敛汇集协议的性能分析
• 5.4 本章小结
• 6 总结与展望
• 6.1 已经完成的工作
• 6.2 进一步的工作
• 致谢
• 参考文献