网格中基于MapReduce应用的可视化系统的设计与实现

论文摘要

随着网格计算在高性能计算领域中变得越来越重要，网格应用也开始蓬勃发展。在Google提出并大力推广MapReduce计算架构的时机，在网格环境中部署MapReduce应用可以提高网格的适用性。而随着技术的普及，网格产品开始被普通的中小型用户所广泛认知以及接受。但是如何使用复杂艰深的以命令行为基础的网格应用，一直是网格产品向大众普及的一个瓶颈。为解决这个问题，在网格环境中将MapReduce应用进行可视化的需求也就应运而生了。为了将一个具有复杂结构的计算框架展示给用户，本论文研究对比了现在流行的可视化界面框架之后，决定采用同时拥有强大组件库和良好用户体验的自有商用界面框架Common Widget。可视化系统的一个通病是其性能问题，本文为了减少后台数据转换到前台界面所消耗的资源，使用JNI和Ajax等新兴技术来提高整个系统的效率。将MapReduce应用和可视化系统手工部署到环境中去对普通用户来说相当困难，本文在调研了网格应用的用户群体之后，采用Linux下的64位平台作为部署环境，使用RPM打包技术帮助用户一步到位的将整个MapReduce解决方案部署完成。本论文将MapReduce应用的三种工作量Application、Job和Task的状态和功能分层次的展示在可视化系统上，不仅包含了MapReduce应用应有的功能，还创建了适合用户操作的个性化功能。另外本论文还设置了不同的界面访问权限使不同性质的用户专注于其功能点。MapReduce应用的可视化系统不仅能够帮助用户高效轻松的操作复杂的网格应用，从而降低公司成本，还能通过降低操作网格产品用户的专业水平的门槛，将产品更好的推广出去。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题背景及研究的目的和意义
• 1.2 与本课题相关的国内外研究综述
• 1.2.1 网格计算
• 1.2.2 MapReduce计算架构
• 1.2.3 可视化界面框架
• 1.3 本论文的主要工作内容
• 第2章 MapReduce应用可视化系统的需求分析
• 2.1 MapReduce应用可视化系统的需求分析
• 2.1.1 MapReduce应用可视化系统的需求提出
• 2.1.2 MapReduce应用可视化系统的功能需求
• 2.1.3 MapReduce应用可视化系统的非功能需求
• 2.2 MapReduce应用可视化系统的相关技术研究
• 2.2.1 交互式网络应用框架
• 2.2.2 RPM打包技术
• 2.3 系统开发平台
• 2.4 本章小结
• 第3章 MapReduce应用可视化系统的设计与实现
• 3.1 MapReduce应用可视化系统的模块结构
• 3.1.1 MapReduce应用可视化系统的模块划分
• 3.1.2 MapReduce应用可视化系统的整体架构
• 3.2 Installation模块的详细设计与实现
• 3.2.1 MapReduce Package的详细设计与实现
• 3.2.2 BIN Package的详细设计与实现
• 3.2.3 DB Package的详细设计与实现
• 3.3 Workload模块的详细设计与实现
• 3.3.1 Application的详细设计与实现
• 3.3.2 Job的详细设计与实现
• 3.3.3 Task的详细设计与实现
• 3.4 ACL模块的详细设计与实现
• 3.4.1 ACL模块的详细设计与实现
• 3.4.2 ACL模块数据库表的详细设计与实现
• 3.5 本章小结
• 第4章 MapReduce应用可视化系统的测试
• 4.1 Installation模块的测试
• 4.1.1 测试用例的优先级
• 4.1.2 Installation模块的测试用例
• 4.1.3 Installation模块的测试结果分析
• 4.2 Workload模块的测试
• 4.2.1 Application模块的测试用例和结果
• 4.2.2 Job模块的测试用例和结果
• 4.2.3 Task模块的测试用例和结果
• 4.2.4 Workload模块的测试结果分析
• 4.3 ACL模块的测试
• 4.3.1 ACL模块的测试用例
• 4.3.2 ACL模块的测试结果分析
• 4.4 本章小结
• 结论
• 参考文献
• 致谢
• 个人简历