洪水灾变模拟系统的关键技术研究

论文摘要

随着计算机和网络技术的发展,基于网格计算的工程动力灾变模拟系统的研究在学术和工程领域日受重视,我国在面向洪涝灾害和强台风等重大灾变模拟分析的软件开发理论和技术上已有一定研究,但目前其进展和成果仅是初步性的。注意到洪涝等灾变的分析、模拟与预测对社会和经济发展的重要性,本项研究将基于网格的中间件软件设计与开发理论与灾变模拟的需求相结合,以研究洪涝灾变异构数据源的处理、专用并行文件系统、并行分布式作业协同调度算法等关键理论和技术问题.首先,在深入分析原有并行文件系统和netCDF数据格式特点的基础上,为并行数据处理系统设计了一个基于netCDF的高效、高可靠的专用并行文件系统,重点研究了文件系统的文件分片算法,数据备份/恢复技术,并在Linux集群上实现该系统原型。实验表明,文件系统可以使数据处理最常见的简单并行达到很高的并行效率,且文件越大这种优势越明显。其次,设计并实现了网络化的并行灾变数据处理框架,框架为实验人员提供一个集成的实验环境,内容包括数据处理和数据显示分析。框架提供的流程构建器允许用户在客户端利用服务器上模块库中的模块来构建处理流程、提供交互式的模块参数设置界面,具有新建工程、模板保存等强大的编辑功能。平台同时为数据处理模块开发者提供一个集成的开发平台,利用该平台定义的具有较好容错能力的API接口,开发者不需要了解与平台相关的分布式计算相关知识,专注模块处理算法的开发。最后,为保障洪水灾变模拟系统各分布式计算资源的负载均衡,提高计算资源的利用效率,通过分析网格环境中实体之间的信任关系,本文对经典网格任务调度算法MCT和Min-min进行了重新设计,提出基于信任机制的Trust MCT和Trust Min-min算法。算法分别根据MCT和Min-min的不同特性,采用不同的划分机制划分信任值区间,对同一信任值区域的任务和资源进行匹配。实验结果表明:基于信任机制的任务调度算法可有效降低任务执行失败率,从而减少任务完成时间。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究目的与意义
• 1.2 研究背景
• 1.3 相关研究进展
• 1.4 本文主要工作
• 1.5 本文的结构
• 第2章 网络化并行洪水灾变模拟数据处理框架
• 2.1 相关研究
• 2.2 框架的设计思想和结构
• 2.3 网络并行协作应用模式
• 2.4 模块开发
• 2.5 图形用户界面
• 2.6 小结
• 第3章 基于NETCDF 的并行 I/O 子系统
• 3.1 研究意义
• 3.1.1 研究背景
• 3.1.2 并行文件系统（PVFS）性能分析
• 3.2 系统的体系结构
• 3.2.1 文件格式分析
• 3.2.2 系统的设计思想
• 3.3 文件系统的关键算法
• 3.3.1 算法的介绍
• 3.3.2 算法的性能分析和实现
• 3.4 应用实例
• 3.5 实验
• 3.6 小结
• 第4章 网格任务调度中的信任模型
• 4.1 信任关系和信任值
• 4.2 信任值的计算
• 4.2.1 信任值的量化
• 4.2.2 本地信任值的计算
• 4.2.3 全局信任值的计算
• 4.3 网格环境下信任值计算算法
• 4.4 在GRIDSIM 中的实现
• 4.5 小结
• 第5章 洪水灾变模拟中的任务调度算法
• 5.1 洪水灾变模拟中的信任系统与调度
• 5.2 TRUSTMCT 算法
• 5.2.1 算法描述
• 5.2.2 实验结果与分析
• 5.3 TRUST MIN-MIN 算法
• 5.3.1 算法描述
• 5.3.2 均匀划分规则
• 5.3.3 中心划分规则
• 5.3.4 实验结果与分析
• 5.4 基于信任机制调度算法的性能比较
• 5.5 小结
• 总结和展望
• 参考文献
• 致谢
• 附录A 攻读硕士期间发表的论文