本文主要研究内容
作者杨世通（2019）在《基于MapReduce的CME参数识别模型的并行计算技术研究》一文中研究指出：随着科学技术的不断发展,科学计算、工业应用、全球气候预报、空间环境业务、人类基因工程等这些重要的研究课题向传统的串行计算提出了挑战,对计算效率提出了更高的需求。空间环境预报模型是空间环境业务的重要组成部分,日冕物质抛射(Coronal Mass Ejection,CME)是许多空间天气事件以及近地空间环境扰动的源头。一个CME到达地球时,可能会引起强烈的地磁暴,对航天器的安全运行、轨道维持、地面电力系统等造成不同程度的影响。太阳风的准确预报是地磁暴预报的重要因素,对CME参数的快速、精确识别是预报CME是否能够到达地球以及何时到达地球非常重要的影响因素、是有效预报太阳风的先提条件。目前,CME参数识别模型(CME parameters detection model,CPDM)在计算任务串行计算的情况下,模型运算效率低导致运算时间长、CME参数识别精度低,不能满足太阳风准确预报的需求。采用单节点多进程并发模式可以一定程度上提高计算任务的运行效率,但受单节点计算资源的限制,运算效率提高有限。传统的多节点数据并行的计算模式可以解决计算资源有限的问题,但由于缺少分布式文件系统,在共享数据源时会出现较大的IO问题,影响读写效率。MapReduce是一个适合分布式并行计算的编程模型,并且Hadoop分布式文件系统(HDFS)能够提供数据的分布式存储,可以很好地解决IO问题。因此本文提出了基于MapReduce的CPDM的并行计算方法,提升CPDM的运算效率。本文的主要工作如下:(1)调研了并行计算的基本概念与发展,对比分析了几种典型的并行计算方法,包括关键技术、运算流程、优劣势以及适用场景。结合空间环境数据和模型的特点,选择基于MapReduce来进行模型的并行化计算设计。(2)针对CME参数识别模型CPDM,由于模型的物理运算过程相互不独立,其在单节点上的运行方式不满足并行化要求,因此面向MapReduce技术的应用需求对CPDM的计算流程进行了并行化改造,提出了基于MapReduce的CPDM的并行化计算方法。该方法对模型计算效率有大幅度的提升。(3)将基于MapReduce的CPDM并行化计算方法在其他空间环境模型上进行推广,设计了基于MapReduce的多空间环境预报模型运算系统。系统可实现多个模型的并行运算和任务调度,提升模型的计算效率。
Abstract
sui zhao ke xue ji shu de bu duan fa zhan ,ke xue ji suan 、gong ye ying yong 、quan qiu qi hou yu bao 、kong jian huan jing ye wu 、ren lei ji yin gong cheng deng zhe xie chong yao de yan jiu ke ti xiang chuan tong de chuan hang ji suan di chu le tiao zhan ,dui ji suan xiao lv di chu le geng gao de xu qiu 。kong jian huan jing yu bao mo xing shi kong jian huan jing ye wu de chong yao zu cheng bu fen ,ri mian wu zhi pao she (Coronal Mass Ejection,CME)shi hu duo kong jian tian qi shi jian yi ji jin de kong jian huan jing rao dong de yuan tou 。yi ge CMEdao da de qiu shi ,ke neng hui yin qi jiang lie de de ci bao ,dui hang tian qi de an quan yun hang 、gui dao wei chi 、de mian dian li ji tong deng zao cheng bu tong cheng du de ying xiang 。tai yang feng de zhun que yu bao shi de ci bao yu bao de chong yao yin su ,dui CMEcan shu de kuai su 、jing que shi bie shi yu bao CMEshi fou neng gou dao da de qiu yi ji he shi dao da de qiu fei chang chong yao de ying xiang yin su 、shi you xiao yu bao tai yang feng de xian di tiao jian 。mu qian ,CMEcan shu shi bie mo xing (CME parameters detection model,CPDM)zai ji suan ren wu chuan hang ji suan de qing kuang xia ,mo xing yun suan xiao lv di dao zhi yun suan shi jian chang 、CMEcan shu shi bie jing du di ,bu neng man zu tai yang feng zhun que yu bao de xu qiu 。cai yong chan jie dian duo jin cheng bing fa mo shi ke yi yi ding cheng du shang di gao ji suan ren wu de yun hang xiao lv ,dan shou chan jie dian ji suan zi yuan de xian zhi ,yun suan xiao lv di gao you xian 。chuan tong de duo jie dian shu ju bing hang de ji suan mo shi ke yi jie jue ji suan zi yuan you xian de wen ti ,dan you yu que shao fen bu shi wen jian ji tong ,zai gong xiang shu ju yuan shi hui chu xian jiao da de IOwen ti ,ying xiang dou xie xiao lv 。MapReduceshi yi ge kuo ge fen bu shi bing hang ji suan de bian cheng mo xing ,bing ju Hadoopfen bu shi wen jian ji tong (HDFS)neng gou di gong shu ju de fen bu shi cun chu ,ke yi hen hao de jie jue IOwen ti 。yin ci ben wen di chu le ji yu MapReducede CPDMde bing hang ji suan fang fa ,di sheng CPDMde yun suan xiao lv 。ben wen de zhu yao gong zuo ru xia :(1)diao yan le bing hang ji suan de ji ben gai nian yu fa zhan ,dui bi fen xi le ji chong dian xing de bing hang ji suan fang fa ,bao gua guan jian ji shu 、yun suan liu cheng 、you lie shi yi ji kuo yong chang jing 。jie ge kong jian huan jing shu ju he mo xing de te dian ,shua ze ji yu MapReducelai jin hang mo xing de bing hang hua ji suan she ji 。(2)zhen dui CMEcan shu shi bie mo xing CPDM,you yu mo xing de wu li yun suan guo cheng xiang hu bu du li ,ji zai chan jie dian shang de yun hang fang shi bu man zu bing hang hua yao qiu ,yin ci mian xiang MapReduceji shu de ying yong xu qiu dui CPDMde ji suan liu cheng jin hang le bing hang hua gai zao ,di chu le ji yu MapReducede CPDMde bing hang hua ji suan fang fa 。gai fang fa dui mo xing ji suan xiao lv you da fu du de di sheng 。(3)jiang ji yu MapReducede CPDMbing hang hua ji suan fang fa zai ji ta kong jian huan jing mo xing shang jin hang tui an ,she ji le ji yu MapReducede duo kong jian huan jing yu bao mo xing yun suan ji tong 。ji tong ke shi xian duo ge mo xing de bing hang yun suan he ren wu diao du ,di sheng mo xing de ji suan xiao lv 。
论文参考文献
论文详细介绍
论文作者分别是来自中国科学院大学(中国科学院国家空间科学中心)的杨世通，发表于刊物中国科学院大学(中国科学院国家空间科学中心)2019-07-24论文，是一篇关于日冕物质抛射论文,参数识别模型论文,计算效率论文,并行计算论文,中国科学院大学(中国科学院国家空间科学中心)2019-07-24论文的文章。本文可供学术参考使用，各位学者可以免费参考阅读下载，文章观点不代表本站观点，资料来自中国科学院大学(中国科学院国家空间科学中心)2019-07-24论文网站，若本站收录的文献无意侵犯了您的著作版权，请联系我们删除。
标签：日冕物质抛射论文; 参数识别模型论文; 计算效率论文; 并行计算论文; 中国科学院大学(中国科学院国家空间科学中心)2019-07-24论文;