云计算平台监控系统的设计与实现

论文摘要

云计算是目前计算机领域的热门研究课题之一,云环境下的监控技术也越来越受到关注。云环境下的监控作为云计算的重要组成部分之一,对云计算也起着至关重要的作用。本文通过对现有的监控系统进行研究,依托国家海洋公益项目设计并实现了云环境下的监控系统。首先,本文对相关的监控技术进行了介绍和分析,对现有的云中的监控系统进行了重点的介绍。通过分析现存的监控系统的结构和特点,再结合自身的以Hadoop为核心的云计算应用环境,提出了适应于自身应用环境的监控系统的框架。其次,本文对本系统框架的设计进行详细的说明和介绍,本系统框架主要分为Client层和Server层两层,Client层完成对Server层的功能调用,而Server层实现本监控系统的所有功能。Server层又分为采集器和监控服务机两个部分,采集器完成对度量数据的采集,而监控服务机包含的收集模块、存储模块、处理模块和显示模块分别完成对度量数据的收集、存储、分析处理和显示。针对实际遇到的问题,提出了时间梯度、首次采集、数据稀释等策略。其中时间梯度策略解决短时间大量监控数据占用带宽的问题,首次采集策略解决静态信息被多次采集的问题,而数据稀释策略可以解决存储系统的存储压力的问题。在设计阶段的最后设计了本系统所使用的通信协议,本系统在这样的协议下完成了度量数据和监控命令的传递,并且实现了采集器与监控服务机的高效通信。最后,本文使用java编程语言并且采用socket、多线程、序列化和反序列化等技术对系统进行实现。对系统的实时监控功能和hadoop日志分析功能进行了测试,测试的结果表明本系统很好的实现了上述两项功能。对系统的各个部分也进行了性能评价,通过对性能评价的结果进行分析,可以看出本系统的性能较好,可以满足当前的应用环境的需要。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 项目研究背景
• 1.2 项目研究的目的和意义
• 1.3 主要研究内容
• 1.4 本文组织结构
• 第2章 相关研究工作
• 2.1 在分布式环境下的监控工具及技术
• 2.1.1 Ganglia软件
• 2.1.2 NWS软件
• 2.2 网格下的监控技术
• 2.2.1 网格中监控的规范和协议
• 2.2.2 针对服务的监控
• 2.2.3 网格中应用的其他监控工具
• 2.3 云环境下的监控技术
• 2.3.1 Chukwa系统
• 2.3.2 IBM的Tivoli
• 2.4 本章小结
• 第3章 云计算平台监控系统的设计
• 3.1 设计基本思想
• 3.2 云监控系统的设计
• 3.2.1 云监控系统的总体设计
• 3.2.2 client层的设计
• 3.2.3 Server层的设计
• 3.3 通信协议的设计
• 3.4 本章小结
• 第4章 云计算平台监控系统的实现
• 4.1 Server层的实现
• 4.1.1 采集器的实现
• 4.1.2 收集模块的实现
• 4.1.3 存储模块的实现
• 4.1.4 处理模块的实现
• 4.1.5 显示模块的实现
• 4.2 通信协议的实现
• 4.2.1 Socket通信机制
• 4.2.2 序列化与反序列化
• 4.2.3 协议流程的实现
• 4.2.4 通信数据类的实现
• 4.3 本章小节
• 第5章 实验与性能分析
• 5.1 实验平台配置
• 5.2 数据集及实验环境模拟
• 5.3 性能评测
• 5.3.1 系统的效果显示
• 5.3.2 系统的性能分析
• 5.4 本章小结
• 第6章 结束语
• 6.1 内容总结
• 6.2 未来展望
• 参考文献
• 致谢
• 攻读硕士期间发表的论文和参加的项目