,1,*, 张云泉2, 姜金荣3, 张贺1, 吴保东2, 曹杭2, 王天一3, 郝卉群3, 朱家文1, 袁良2, 张明华,1,*1. 2.
3.
Earth System Model: CAS-ESM
Zhou Guangqing,1,*, Zhang Yunquan2, Jiang Jinrong3, Zhang He1, Wu Baodong2, Cao Hang2, Wang Tianyi3, Hao Huiqun3, Zhu Jiawen1, Yuan Liang2, Zhang Minghua,1,*1. 2.
3.
通讯作者: * 周广庆（E-mail:zhgq@mail.iap.ac.cn）张明华（E-mail:minghua.zhang2@yahoo.com）
收稿日期:2020-01-3网络出版日期:2020-02-20
| 基金资助: |
Received:2020-01-3Online:2020-02-20
作者简介 About authors
周广庆,中国科学院大气物理研究所,研究员,博士生导师,主要研究方向为气候模式与气候预测。
本文承担工作：CAS-ESM气候系统模式设计研发。
Zhou Guangqing, professor, is a PhD supervisor at Institute of Atmospheric Physics, Chinese Academy of Sciences. His main research interests are climate model and climate predictions.
The tasks in this paper: design and development of climate system model in CAS-ESM.E-mail：zhgq@mail.iap.ac.cn
张云泉,中国科学院计算技术研究所计算机体系结构国家重点实验室,博士,研究员,博士生导师,国家超级计算济南中心主任,主要研究领域为并行算法与并行软件。
本文承担工作：大气模式三维剖分方法整体设计。
Zhang Yunquan, is a professor and PhD Advisor of SKL of Computer Architecture, Institute of Computing Technology, Chinese Academy of Sciences in Beijing, China. He is also appointed as the Director of National Supercomputing Center at Jinan.
The tasks in this paper: 3d design of AGCM.
E-mail: zyq@ict.ac.cn。
姜金荣,中国科学院计算机网络信息中心,研究员,博士,主要研究方向为并行算法与框架软件、计算地球科学。
本文承担工作：耦合集成软件平台设计。
Jiang Jinrong is a research fellow in Computer Network Information Center, Chinese Academy of Sciences. His research interests include the development of earth system model, parallel computing and computer architecture.
The tasks in this paper: design the platform for coupling and application of Earth System Model.
E-mail: jjr@sccas.cn
张贺,中国科学院大气物理研究所,副研究员,主要研究方向为地球系统模式研发和应用。
本文承担工作：大气模式和耦合模式研发及CMIP6试验。
Zhang He is an asociate professor at Institute of Atmospheric Physics, Chinese Academy of Sciences,. His main research interests are Earth System Model development and applications.
The tasks in this paper: developments of AGCM and coupled model, CMIP6 experiments.
E-mail: zhanghe@mail.iap.ac.cn
吴保东,中国科学院计算技术研究所,博士研究生,研究方向为高性能计算、并行计算、分布式系统虚拟化。
本文承担工作：大气模式的三维并行剖分框架、自适应滤波、通信避免等优化算法。
Wu Baodong, is a PhD. His main research interests include high-performance computing, parallel computing, and distributed system virtualization.
The tasks in this paper: developments of the 3D parallel decomposition framework of AGCM in CAS-ESM, adaptive filtering, computation-communication overlap and communication-avoiding.
E-mail: wubd.cs@gmail.com
曹杭,中国科学院计算技术研究所博士研究生,主要研究方向为大规模并行计算,异构并行性能优化。
本文承担工作为：CAS-ESM大气环流模式并行计算优化。
Cao Hang, is a PhD student at Institute of Computing Technology, Chinese Academy of Sciences. His main research interests include large-scale parallel computing and heterogeneous parallel computing performance optimization.
The tasks in this paper: paralell omptimization of AGCM in CAS-ESM.
Email: caohang@ict.ac.cn
王天一,中国科学院计算机网络信息中心,博士研究生,主要研究方向为并行计算、软件工程和地球系统建模。
本文承担工作为：耦合集成软件平台开发
Wang Tianyi, is a PhD student at Computer Network Information Center of Chinese Academy of Science. His research interests include parallel computing, software engineering and modeling of Earth system.
The tasks in this paper: development of the platform for coupling and application of Earth System Model.
E-mail: wangty@sccas.cn
郝卉群,中国科学院计算机网络信息中心,工程师,硕士,主要研究方向为并行计算与软件、地球系统模式并行优化。
本文承担工作为：海洋模式并行优化
Hao Huiqun, received his M.S. degree in Computer Science from University of Manchester. He is an engineer in Computer Network Information Center, Chinese Academy of Sciences. His research interests include high performance computing and the parallel optimization of earth system model.
The tasks in this paper: paralell omptimization of OGCM in CAS-ESM.
E-mail: haohq@sccas.cn
朱家文, 中国科学院大气物理研究所,副研究员,主要研究方向为植被动力学模式。
本文承担工作为：植被动力学模式及其与大气模式耦合。
Zhu Jiawen is an asociate professor at Institute of Atmospheric Physics, Chinese Academy of Sciences. His main research interest is dynamic vegetation model.
The tasks in this paper: dynamic vegetation model and its coupling with AGCM.
E-mail: zhujw@mail.iap.ac.cn
袁良,中国科学院计算技术研究所,助理研究员,主要研究方向为并行计算模型,并行算法设计与程序优化。
本文承担工作：大气模式通信优化方法设计。
Yuan Liang, is an assistant professor of SKL of Computer Architecture, Institute of Computing Technology, Chinese Academy of Sciences in Beijing, China.
The tasks in this paper: communication optimization design of AGCM.
E-mail: yuanliang@ict.ac.cn
张明华,中国科学院大气物理研究所客座研究员,主要研究方向为地球系统模式等。
本文承担工作：CAS-ESM的整体设计与研发。
Zhang Minghua is a guest professor of Institute of Atmospheric Physics, Chinese Academy of Sciences. His main research interests are climate model and Earth System Model development and applications.
The tasks in this paper: design and development of CAS-ESM.E-mail：minghua.zhang2@yahoo.com
摘要
【目的】本文介绍了中国科学院地球系统模式CAS-ESM的发展、构成及性能优化,着重介绍了在并行计算优化方面的工作。【方法】基于CAS-ESM1.0,在大气和海洋模式上,就并行剖分、跳点差分算法、并行计算通信开展了一系列的优化研究,显著提升模式的并行加速比和并行效率。开发了用于耦合集成的软件平台,并通过一系列的物理参数化方案的改进,提高了各分量模式的模拟性能,以此形成了CAS-ESM2.0。【结果】新系统在运行效率和模拟精度上都较CAS-ESM1.0有显著提升,实现了我国境内首个全球地表CO2浓度分布及其季节变化的全耦合模拟。CAS-ESM2.0将参加国际耦合模式比较计划CMIP6的有关试验,并提供有关模拟结果的数据共享。
关键词：
Abstract
[Objective] The development and performance optimizations, especially on parallel computations, of the Earth System Model of Chinese Academy of Sciences (CAS-ESM) are introduced in this paper. [Methods] Based on CAS-ESM1.0, a series of computing optimizations are conducted such as three-dimensional parallel decomposition, leap finite-difference algorithm and communication-avoiding method in atmospheric and oceanic component models, showing obvious improvements in parallel computational speed and efficiency of the models. Also, a platform for coupling and application of Earth System Model is developed. In addition, CAS-ESM2.0 is set up after applying parameterization improvements to component models in many aspects. [Results] Compared with CAS-ESM1.0, CAS-ESM2.0 presents a distinct advance not only in computation efficiency but also in climate simulation results. Besides, it is able to reproduce the global surface CO2 distribution and its seasonal variation by this fully coupled model. CAS-ESM2.0 will take CMIP6 experiments and its simulation data will be opened and shared.
Keywords：
PDF (12318KB)元数据多维度评价相关文章导出EndNote|Ris|Bibtex收藏本文
本文引用格式
周广庆, 张云泉, 姜金荣, 张贺, 吴保东, 曹杭, 王天一, 郝卉群, 朱家文, 袁良, 张明华. 地球系统模式CAS-ESM. 数据与计算发展前沿[J], 2020, 2(1): 38-54 doi:10.11871/jfdc.issn.2096-742X.2020.01.004
Zhou Guangqing.
引言
数值模拟是现今的地球系统科学研究必不可少的实验手段,它已贯穿到地球系统科学研究和应用的各个环节,是地球系统科学向整体、综合、定量化发展的重要标志之一。地球系统模式（ESM, Earth System Model）是利用描述地球表层各圈层的物理、化学和生命过程及其演化的规律,通过数学建模,在超级计算机上开展大规模科学计算,以期再现地球表层各圈层过去和现在的演变,并预测未来。ESM是开展地球系统数值模拟必不可少的载体,它集对地球各圈层运动规律认识之大成,将地球各圈层及其相互作用综合起来,用系统科学的观点去研究、认识地球,因而成为地球科学研究的基础工具之一。地球系统模式的研究和应用是在大气、海洋和短期气候尺度形势预报发展的基础上拓广开来,延伸至研究百年、千年尺度的变迁问题,进而又拓广到研究地球生态和环境及其与天气—气候的耦合变化问题。20世纪末气候学研究提出了“气候系统”的概念,把大气、海洋、冰雪和陆面四个圈层作为一个整体来考虑。进入21世纪,在气候系统的基础上,进一步考虑生态系统等,通过研究圈层之间的能量、动量和物质交换来了解行星能量过程、生态过程和新陈代谢过程的运行规律,特别是碳、氮循环等生物地球化学耦合过程在气候系统中的作用、人类对这些循环过程的影响及其气候效应。反过来,这同时也为天气—气候及其相应的自然灾害的预测提供更理性和较好的形势背景,使它们的预测更为准确可用。
地球系统（含气候系统）模式的发展是一个循序渐进的过程。在20世纪90年代初主要是大气–海洋–海冰–陆面耦合的气候系统模式;到21世纪初,在传统的气候系统模式基础上,加入了气溶胶和简单的碳循环过程,开始向地球系统模式过渡;到现阶段,地球系统模式已包含了气溶胶、大气化学、生态动力学（动态植被）、海洋生物地球化学及陆地的碳氮循环过程;同时向更高的模式分辨率和更精细的过程描述发展。在组成地球系统模式的分（子 ）系统的划分上,各研究机构虽不尽相同,但从本质上说,现阶段的地球系统动力学模式都包含了大气、海洋（含海冰）、陆表面过程（含水文过程）、大气化学和气溶胶、生态过程、陆地和海洋的生物地球化学过程等分系统的主要过程和它们的相互作用。
在国际上,一个典型例子是美国国家大气研究中心（NCAR）于1994年提出的《通用气候系统模式（CCSM）研究计划》（Community Climate System Model Science Plan 1995-2000）,并于2000年延续该计划至2005年。美国多家大学和研究机构参与了该计划,并取得了巨大的成功。其研发的气候系统模式CCSM的系列版本在世界上具有广泛的影响力。在此基础上,NCAR于2009年又进一步提出了《通用地球系统模式（CESM）科学计划（2009-2015）》,目标是发展一个包括完整生物地球化学过程的地球系统模式,用于研究地球系统各种时空尺度变化的内在规律和机制,并利用CESM预估未来的气候和环境变化。目前CESM已经公布成熟的版本。
在欧洲,英国、德国、法国等国研制的气候系统模式也位居本领域国际前沿,其优势领域各有不同。英国的优势是大气环流模式,德国的优势是大气环流模式和海洋环流模式,法国的优势是海洋环流模式和陆面过程模式。意识到合作的重要性,欧洲各国联合提出了“欧洲地球系统模拟网络（ENES）”计划,下属“地球系统模拟集成（PRISM）”和“气候资料存储与分发”两个计划。PRISM自2001年启动以来,欧洲各国的22个研究机构投入了该计划的实施。其目标是建立一个高效的欧洲地球系统模拟和气候预测系统以及超级计算机平台,选用10个优秀的耦合气候模式进行集成模拟研究。
日本则利用其超级计算机（如地球模拟器、京）的支撑组织多家科研机构相继开发了日本气候系统模式、地球系统模式和超高分辨率大气环流模式。特别是在超高分辨率模式上,日本代表了本领域的国际前沿水平。另外,澳大利亚、加拿大、挪威、韩国等国也都提出了各自的气候系统模式或地球系统模式的发展计划。
同时,世界气象组织（WMO）为了比较各国科研组织和机构研发的不同模式,在世界气候研究计划（WCRP）下设立了国际耦合模式比较计划（CMIP, Coupled Model Intercomparison Project）。它一方面通过各个不同模式模拟结果之间的比较,找出彼此间的差异及其可能的原因,以此来确定气候变化模拟与预估的敏感程度,并为模式的发展提供改进的方向,同时也为政府间气候变化委员会（IPCC）组织的气候变化科学评估提供数值模拟与预估数据。这些数据是气候变化评估重要的科学基础之一,为减排和适应政策的制定提供了支撑和参考。CMIP 已完成了五个阶段的试验,其中来自世界各地多达40余个气候/地球系统模式参加了第五阶段的试验（CMIP5）。目前正在开展第六阶段的试验,即CMIP6。
1 CAS-ESM的发展及构成
我国开展气候系统和地球系统模式的研究也比较早。在二十世纪八十年代初,中国科学院（CAS）大气物理研究所（IAP）的科学家在完整考虑气候系统的动力学框架和整体协调性的基础上,建成了我国第一个大气环流模式（AGCM, Atmospheric General Circulation Model）：IAP-AGCM-2L[1,2]和海洋环流模式（OGCM, Oceanic General Circulation Model）：IAP-OGCM[3]及陆面过程模式（LSM, Land Surface Model）：IAP94[4]。此后,在版本不断更新的基础上,发展了大气–海洋–陆面耦合的气候系统模式[5,6,7]。这些模式广泛应用于气候科学的研究,它们相继参加了政府间气候变化委员会（IPCC）第一至第五次科学评估和国际耦合模式比较计划（CMIP）的第一至第五阶段的比较试验,并在我国短期气候预测中得到实际应用[8]。但上述模式还主要针对气候系统,缺少生态系统动力学和生物地球化学过程这一环节。为了推动我国地球系统模式的研发,在国家有关科学计划和项目的资助下,中国科学院大气物理研究所联合国内多家高校和科研机构,联合开发中国自主的地球系统模式。经过几年的努力,我国在地球系统模式的自主研发上取得了一些重要进展,特别是在陆面过程模式CoLM和植被生态动力学模式(DGVM, Dynamic Global Vegetation Model) IAP-DGVM[9,10,11,12]、气溶胶和大气化学模式（AACM, Aerosol and Atmosphere Chemistry Model）GEATM[13]、海洋碳生物地球化学模式（OBCM, Oceanic Biogeochemistry Model）IAP-OBCM[14]等上面取得一系列重要研究成果,为开展全耦合的地球系统模式研发打下良好基础。
在此基础上,确立了中国科学院地球系统模式 CAS-ESM（Chinese Academy of Sciences-Earth System Model）由如下分（子）系统模式及其耦合构成, 即大气环流模式（AGCM）、海洋环流模式（OGCM）、海（洋）冰模式（SIM, Sea Ice Model）、陆表过程模式（LSM）（含水文模式）、(全球)植被动力学模式（DGVM）、气溶胶和大气化学模式（AACM）、海洋生物地球化学模式（OBCM）和陆表生物地球化学模式（LBCM, Land Biogeochemistry Model）,并通过耦合器（CPL, Coupler）将它们耦合在一起（图1）。其中大气环流模式采用IAP-AGCM4.1[15]、海洋模式采用LICOM2[16],陆面过程模式采用CoLM[17],海冰模式采用美国洛斯阿拉莫斯国家实验室（Los Alamos National Laboratory）的CICE4.0[18],(全球)植被动力学模式采用IAP-DGVM[19],气溶胶和大气化学模式采用GEATM[13],海洋生物地球化学模式采用IAP-OBCM[20],陆地生物地球化学模式采用CoLM-LBCM[21]。为了考虑它们之间的相互作用,采用美国国家大气研究中心（NCAR）的耦合器CPL7[22]传递各分量模式的（物质和能量）信息,组成统一的地球系统模式。由于采用了NCAR的耦合框架, CESM中原有的各分量模式也可与CAS-ESM中的分量模式进行耦合。
图1
新窗口打开|下载原图ZIP|生成PPT图1CAS-ESM的构成
Fig.1The structure and components of CAS-ESM
2015年9月,中国科学院正式发布了其地球系统模式CAS-ESM1.0。 该模式完全是按我国自己的理论思路和框架研制,且其各分系统模式全部或主体部分都是我国自主研制的,有鲜明中国特色,有许多优点或为我所特有[23,24],并将用于参与CMIP6。
2 CAS-ESM的并行计算优化
地球系统模式极其复杂,计算量巨大,对高性能计算机提出了极高要求。 随着地球系统模式分量模式的增多、复杂度和模式分辨率的提高,高效率计算成为关键技术。由于CAS-ESM的开发经历数十年,早期代码也是串行版本,历史遗留代码众多、新旧代码混合成为高效利用现代分布式并行计算机的障碍之一。同时由于CAS-ESM在计算网络离散化上采用球坐标下的经纬网格,一些传统算法的使用使得模式在并行计算可扩展度上仍存在很多困难,限制了开展大规模并行计算模拟,这也在一定程度上阻碍了CAS-ESM向高分辨率、高精度方向发展。考虑到目前CAS-ESM中并行计算的瓶颈主要体现在大气、海洋分量模式上,我们着重在大气和海洋模式的有关算法和并行计算技术上开展了一系列的改进和优化,取得了不错的加速效果,从而提升了整个CAS-ESM的计算效率。2.1 自适应滤波与三维剖分并行计算
通过对CAS-ESM计算性能的测试与分析,发现大气模式是整个CAS-ESM计算效率的核心,计算量占50%以上（图2）。因此优化大气模式,提升其计算机效率成为提高整个CAS-ESM计算效率的关键。由于IAP-AGCM4.1采用球坐标下的经纬网格进行计算,因此在南北两极区,经线逐步汇集成一点,其纬向网格距也逐渐缩小,直至在极点变成无穷小。根据CFL（Courant-Friedrichs-Lewy）收敛条件,随着纬向格距的逐步缩小,时间积分步长也要随之减小,这会大大增加计算量。因此在大气模式的高纬度区域一般采用纬向滤波方法剔除小尺度过程（短波）的影响,以此来保持一定的（不大幅减小）时间积分步长,减少计算量。最常用的滤波方法即是“快速傅立叶变换”（Fast Fourier Transform）滤波,简称FFT滤波。但FFT滤波一个重要特征是需要变量沿纬圈求和,因而在MPI并行计算中就需要全局通信,极大限制了并行可扩展性。正是因为这个原因,IAP-AGCM4早期版本只采用了沿经向（Y方向）和垂直方向（Z方向）的二维剖分并行计算,而把纬向（X方向）所有格点放到一个MPI进程中,以避免全局通信对计算的影响,但并行扩展度受到很大限制[25]。随着模式分辨率的提高,网格数增多,纬向（X方向）不剖分一方面无法进一步提升并行度,另一方面也造成在一个MPI进程中数据量大,访存/计算比增加,甚至出现内存带宽不足,大大降低计算速度。图2
新窗口打开|下载原图ZIP|生成PPT图2CAS-ESM各分量模式计算时间占比（彩色叠加柱）及整个模式运行时间（灰色折线）。横坐标：核心数;纵坐标：左测百分比,右侧时间（单位：秒）。
Fig.2The computation ration of different components in CAS-ESM (colored columns , left label) and the model runtime (grey curve, right label) .
针对这一问题,我们首先采用了自适应的局部高斯滤波替代FFT滤波,把全局通讯变为临近通讯。具体方法见表1,在南北纬70°-87°,采用一次纬向的9点滑动滤波,但9个点的权重随纬度有所不同,纬度越高中间点的权重越低,边缘点的权重越大;在南北纬87°-90°,采用了多次（Nθ）的纬向13点滑动滤波,不但参与滤波的格点权重随纬度不同,重复滤波的次数也随纬度变化。
Table 1
表1
表1局地高斯滤波方案
Table 1
 |
新窗口打开|下载CSV
在此基础上,我们提出并实现了面向高分辨率大气模式模拟的三维剖分并行算法,增加了纬向（X方向）的剖分,提升IAP-AGCM4的并行度,减少了各进程负责的数据大小,降低了计算量与通信量。同时,高纬自适应滤波需要通过纬度值对滤波的相关参数进行调整,因此在三维剖分下,使用循环遍历J值进行滤波操作,不可避免地导致多次调用9点和13点的通信操作,尤其是极点位置附近调用13点滤波次数更加频繁,从而造成通信开销巨大。因此我们使用了通信避免算法对极点位置附近的多次13点滤波通信进行优化,通过一次通信操作完成多次13点滤波通信所需的所有数据[26]。在天河2号超级计算机上,IAP-AGCM4.1在水平分辨1/2°x 1/2°下,动力框架三维剖分实现了32 768个CPU核的并行扩展度,大幅高于二维剖分时的1 024个CPU核（图3）。
图3
新窗口打开|下载原图ZIP|生成PPT图3IAP-AGCM4.1分别在二维与三维进程剖分下各部分计算机时间（纵坐标：计算时间,单位：秒;横坐标：核心数）[26]
Fig.3Runtime of IAP-AGCM4.1 on 2D and 3D decomposition [26]
2.2 高纬度的纬向跳点差分计算格式及通信优化
从图3中我们也看到,虽然采用了自适应的局地高斯滤波替代FFT滤波实现了三维剖分的并行计算,并行扩展度得到大幅提升,但在各部分计算机时间对比上,滤波所用的时间远远高于计算和通讯时间。为了解决这一问题,我们提出了新的纬向自适应跳点差分格式,替代高纬滤波模块,在消除高纬度的短波影响的同时,保持模式的时间步长和计算稳定性。具体做法是在中低纬度区域,采用简单滤波器,在高纬度地区采用新的纬向自适应跳点差分格式替代原中央差格式,即做中央差分的两点不采用临近的两个点,而采用距离更远的两个点,以此来增加差分格距,消除短波的影响。跳点距离以中纬度（纬度45 °）时的纬向网格距作为参考阈值,并随纬度增加自适应变化。在此基础上,对纬向通讯方案进行了特殊处理优化。在高纬地区（≥70°）,根据每个纬圈的跳点个数,确定不同的纬向通信方案。当跳点数≤1时,由于格点在同一个MPI进程中,存在计算冗余或已有进程间边界通信,不需要额外MPI通信处理;当跳点数>1,但≤单个MPI进程中格点数时,需要做与相邻进程的额外通信处理;而当跳点数>单个MPI进程中格点数时,则需要做跨进程的通信处理。在这个处理过程中,对于具有相同跳点数的变量,通过打包发送来减少通信次数。当然,在这些优化过程中需要注意一些问题,纬向(X方向)通信域各进程可能出现网格点数量不一致的问题,这会影响MPI通信的数据长度输入;进程划分时,相邻两个域的边界存在冗余,因此针对前向差分和后向差分数据点的通信,需要做不同的处理;对于跨进程的循环通信,需要对跳点差分通信的数据点位置进行周期性判断,并同时考虑首进程和尾进程的边界[27]。此外,还设计了一种新型高纬度跳点差分方案[28],可进一步降低滤波开销。
同样,在天河2号超级计算机上和模式水平分辨1/2°x 1/2°下,IAP-AGCM4.1动力框架采用新的自适应跳点差分格式,在相同的并行扩展度下,其计算时间相较于原来的三维剖分方案有了平均2.6倍的性能提升,其中,滤波部分计算时间平均减少了5.3倍（图4a）,计算效率从128核扩展至32,768核时达到了40.6x加速比和16%的并行效率（图4b）。
图4
新窗口打开|下载原图ZIP|生成PPT图4（a）IAP-AGCM4采用采用自适应跳点差分格式与原三维剖分方案的各部分计算时间的对比（纵坐标：时间,单位：秒,横坐标：核心数）;（b） 不同并行扩展度下,采用采用自适应跳点差分格式的IAP-AGCM4并行加速比（左）及效率（右）,横坐标：核心数 [28]。
Fig.4(a) Overall scaling comparison for original and leap-format 3D dynamical core; (b) Speedup and parallel efficiency of the leap-format 3D dynamical core [28].
2.3 海洋模式并行优化
海洋模式是地球系统重要组成部分,其计算特征与大气模式有很多相似之处,而且地球系统模式分辨率的提升主要以大气和海洋模式为主,其它分量模式的分辨率一般遵从大气、海洋模式分辨率。因此优化海洋模式的计算效率也是地球系统模式的重要方面。针对CAS-ESM中的海洋模式LICOM2,开展了包括并行化方案改进、多种通信优化、浮点性能优化、异步并行I/O、MPI+OpenMP实现以及模式软件结构的重新设计和实现[29],优化后的0.1°x 0.1°分辨率海洋模式LICOM2在天河2上进行最大规模19200个CPU核的测试,计算速度较原版本提升2.08倍,优化前后绝对计算速度对比如图5a所示。在国防科大E级验证系统上,对0.1°x 0.1°分辨率海洋环流模式LICOM2进行了测试,如图5b所示,测试的最大并行规模达到了12.3万Matrix-2000+ CPU核,相对于1920核,加速比达到10.53倍。图5
新窗口打开|下载原图ZIP|生成PPT图5（a）优化前后LICOM模式的计算速度对比,蓝线是原模式的计算速度,红线是采用通信、浮点性能等优化后的计算速度,绿线是改进并行化方案后的计算速度（纵坐标：时间,单位：秒;横坐标：核心数）;（b）在国防科大E级原型机上不同扩展度下的并行加速比（纵坐标：加速比;横坐标：核心数）[29] 。
Fig.5(a) The computing speed of the model before and after optimization, blue line for original model, red line for the model with communication optimization, floating point performance optimization, etc., green line for the fully optimized model; (b) The speedup of the fully optimized model on NUDT E-level super computer [29] .
3 耦合集成软件平台
CAS-ESM是一个非常复杂的软件系统,包含多个描述地球表面不同圈层的分量系统（数值模拟软件）,这些分量系统不仅可以独立运行,还需要把它们有机的耦合到一起形成统一的地球系统数值模拟系统。因此需要一个很好的耦合集成平台,对各分量模式开发和耦合以及编译运行进行有效管理。3.1 三维耦合器改进
为了把描述地球表面不同圈层的数值模式分系统耦合到一起,需要一个软件工具传递反映地球表面不同圈层界面间相互作用的信息,我们称之为耦合器。目前CAS-ESM采用的是基于NCAR开发的耦合器CPL7,但CPL7只适用于不同分量模式（不同圈层）界面间的信息传递,即（空间）二维信息耦合。为了能够简便快速实现不同分量模式的三维（空间）耦合,如大气化学与大气环流模式耦合、区域模式与全球模式的双向嵌套,则需要耦合器具有三维信息传递的能力,而且还需要保证这些传递的信息遵守物理定律,即保持物质和能量的守恒性。为此我们对二维耦合器CPL7进行了改进,实现了三维耦合算法,包括设计实现了三维耦合映射函数、插值算法和主控程序等,并重新设计了接口函数,形成IAP-CPL7[30,31]。利用IAP-CPL7,通过简单的接口“插拔”,实现了IAP AGCM与区域大气模式WRF、大气化学与气溶胶模式IAP-AACM的三维耦合。3.2 编译运行系统及耦合接口自动生成器
为了更好运行CAS-ESM,做到简洁快速接入不同分量模式、开展不同模式组合的数值实验,我们在原NCAR的地球系统模式CESM编译运行系统基础上,重新配置和改进了CAS-ESM编译运行系统,并对分量模式代码进行标准化改进和优化调试,简化了编译运行流程,实现了多种组合实验,促进版本统一[32]。在此基础上,开发了编译运行系统及耦合接口自动生成器工具,提取编译运行系统和耦合接口的共性过程模块形成模板库（如图6所示）,配合配置文件（表2）和python正则替换操作来生成编译运行系统和耦合接口,以实现编译运行系统和耦合器耦合流程代码的自动生成,便于新模式的添加[33]。图6
新窗口打开|下载原图ZIP|生成PPT图6编译运行系统及耦合接口自动生成模板[33]
Fig.6The sketch map of the code-auto-generating templet for the model’s compiling-running and coupling connection [33]
Table 2
表2
表2配置文件列表
Table 2
| 配置文件 | 说明 |
|---|---|
| common.xml | 总控文件,与编译系统共享,配置分量模式名称和类型 |
| conf_ccsm_comp.xml | 顶层控制文件,配置耦合顺序,和其他分量模式自定义信息 |
| conf_mapping.xml | 配置各分量模式之间耦合关系等信息 |
| conf_map.xml | 配置分量模式与耦合器之间的耦合信息 |
| con_merge.xml | 配置耦合数据传递的信息 |
| conf_shr.xml | 共享分量模式耦合数据 |
| conf_seq.xml | 注册分量模式耦合变量 |
| ccc_conf.xml | 配置耦合变量和耦合接口 |
新窗口打开|下载CSV
4 CAS-ESM2.0及CMIP6试验
4.1 CAS-ESM2.0
针对CAS-ESM1.0,除上述并行计算方面进行了大量优化并取得不错的效果外,我们还在各分量模式及其耦合调试上进行了大量改进和试验。这些改进是较为全面的。在大气模式上,除了动力框架和并行计算的改进外,在物理过程参数化方案上也做了大量工作,包括深对流参数化、浅对流参数化[34]、宏观云物理过程参数化、微观云物理过程参数化[35]、重力波和湍流过程等,从而形成新版本的大气环流模式IAP-AGCM5。在海洋模式上,基于真实的海气界面的海气通量交换物理过程,提出了一个新的具有严格物理意义且在数学上适定的盐度边界条件[36]。在国际上首次使用了实盐通量,认为海盐通量应是虚盐通量和实盐通量之和,且在虚盐通量中考虑了淡水通量和海表盐度的相关关系,替代了国际上常用的气候态常数来表征海表盐度。在陆面过程模式上 ,引入了新的多层土壤碳方案,可以更好地描述土壤碳的累积和分解效应;基于风蚀物理过程,建立了新的起沙过程计算方案,更好地模拟了全球主要的沙尘分布带。在海冰模式上,虽然采用了CICE4.0模式,但对海冰表面反照率参数化方案及海冰模式辐射传输过程方案进行了完善,使得模拟的海冰在密度和厚度上都更接近观测数据[37]。另外,在大气化学和气溶胶模式上,简化了大气化学过程,使其适合长期气候数值模拟[38],形成IAP-AACM v1.0,并实现了与大气环流模式中辐射传输和云微物理过程的双向耦合[39]。在植被动力学模式上,研制了新的火模块[12],开发了新的IAP-DGVM,实现了与陆面过程模式和大气环流模式的耦合计算[40]。在陆地生物地球化学模式上,增加了碳-氮循环的耦合过程,模式具备了模拟全球氮循环过程的能力。海洋生物地球化学模式在6个生化变量基础上增加了7个海洋生态变量,达到13个预报变量。在上述多方面的模式改进和发展的基础上,开发出了新版本的中国科学院地球系统模式CAS-ESM2.0。综合数值试验显示,模式性能有了较明显的提升。如图7所示的模式模拟的夏季平均全球降水分布,与观测数据对比（图7c、d）,IAP-AGCM4.1的结果在热带西太平洋、印度尼西亚群岛和东印度洋地区有很大的偏差（图7a）,而新版本的IAP-AGCM5的模拟结果有明显的改进（图7b）。
图7
新窗口打开|下载原图ZIP|生成PPT图7夏季平均全球降水分布：（a）IAP-AGCM4.1模拟结果;（b）IAP-AGCM45模拟结果;（c）和（d）是两套观测数据结果;横坐标：纬度,纵坐标：经度。
Fig.7The global distributions of the summer precipitation: the simulations of IAP-AGCM4.1 (a) and IAP-AGCM5 (b), and the results from two observation data (c and d).
由于CAS-ESM2.0实现了全耦合模拟,它不仅能够模拟气候变化中的物理变量,如温度、降水、风速、洋流等,更能模拟植被生态演变、碳–氮循环过程及其源汇、大气化学和气溶胶过程与辐射传输的相互作用等,使得对全球气候和环境演变的模拟更加全面,从而为更加深入认识全球气候和环境演变的机理提供了一个更有效的工具。图8给出了CAS-ESM2.0中IAP-DGVM模拟的全球地表植被分布,图中可以清楚看到不同地表类型在不同纬度上的分布特征,这为研究全球生态演变及其影响机制提供了很好的实验平台。图9给出了CAS-ESM2.0全耦合模式模拟的全球地表二氧化碳（CO2）浓度在不同季节的分布。在北半球冬季（图9a）,北半球高纬地区地表CO2浓度很高,这主要是冬季北半球高纬地区植被凋落,地表植被吸收CO2能力降低;而在北半球夏季（图9b）,繁茂的植被覆盖吸收大量CO2,使得北半球高纬地区CO2浓度大大降低,特别是在欧亚大陆和北美大陆上表现更为明显。在南半球,由于主要为海洋覆盖,地表CO2浓度的季节变化远没有北半球明显。由于CAS-ESM2.0具有陆地和海洋的生物地球化学过程模式（包含了较为完善的碳、氮循环）及动态植被模式,因此CAS-ESM2.0给出了我国第一个全球地表CO2浓度演变的模拟结果,这在国际上也为数不多。
图8
新窗口打开|下载原图ZIP|生成PPT图8CAS-ESM2.0中IAP-DGVM模拟的全球不同地表类型的分布,分别为树木、灌木、草和裸土;横坐标：纬度,纵坐标：经度。
Fig.8The global distributions of the different land surface types simulated by IAP-DGVM in CAS-ESM2.0: tree, shrub, grass and bare soil respectively.
图9
新窗口打开|下载原图ZIP|生成PPT图9CAS-ESM2.0全耦合模式模拟的大气CO2地面浓度分布：（1） 1月;（b）7月;横坐标：纬度,纵坐标：经度。
Fig.9The surface CO2 distributions simulated by CAS-ESM2.0 for (a) January and (b) July, respectively.
4.2 CMIP6.0试验计划
CMIP吸引了国际上众多的地球或气候系统模式参与,并通过模拟数据的开放共享为科学研究和政策制定提供支撑。目前正在进行第6阶段的试验–CMIP6。表3给出了CMIP6包含的各种比较试验及其名称,CAS-ESM2.0将参加其中大多数的试验并提供模拟数据。目前CAS-ESM2.0已完成DECK试验（Diagnostic,Evaluation and Characterization of Klima experiments）中的工业革命前参照试验（piControl)的500a长期积分、当代真实海温和海冰强迫试验（AMIP）、4 倍CO2 突增强迫试验（abrupt-4xCO2）及CO2 浓度每年增加 1% 的强迫试验（1pctCO2试验);完成了在观测的且随时间变化的各种外强迫驱动下工业革命（1850 年）以来的历史气候模拟试验（Historical）。这些试验结果正在分析中,并为开展各类比较试验及未来气候变化预估奠定了很好的基础。预计如果CAS-ESM2.0完成全部计划参加的各项试验后,将产生大约1PB的气候模拟数据,这些数据将完全开放共享。Table 3
表3
表3CMIP6中进行的各种气候模拟比较试验
Table 3
| No. | Short name | Long name of MIP | CAS-ESM |
|---|---|---|---|
| 1 | AerChemMIP | Aerosols and Chemistry Model Intercomparison Project | 参加 |
| 2 | C4MIP | Coupled Climate Carbon Cycle Model Intercomparison Project | 参加 |
| 3 | CFMIP | Cloud Feedback Model Intercomparison Project | 拟参加 |
| 4 | DAMIP | Detection and Attribution Model Intercomparison Project | 参加 |
| 5 | DCPP | Decadal Climate Prediction Project | 拟参加 |
| 6 | FAFMIP | Flux‐Anomaly‐Forced Model Intercomparison Project | 拟参加 |
| 7 | GeoMIP | Geoengineering Model Intercomparison Project | 拟参加 |
| 8 | GMMIP | Global Monsoons Model Intercomparison Project | 参加 |
| 9 | HighResMIPI | High Resolution Model Intercomparison Project | 不参加 |
| 10 | ISMIP6 | Ice Sheet Model Intercomparison Project for CMIP6 | 拟参加 |
| 11 | LS3MIP | Land Surface, Snow and Soil Moisture | 参加 |
| 12 | LUMIP | Land‐Use Model Intercomparison Project | 参加 |
| 13 | OMIP | Ocean Model Intercomparison Project | 拟参加 |
| 14 | PMIP | Palaeoclimate Modelling Intercomparison Project | 拟参加 |
| 15 | RFMIP | Radiative Forcing Model Intercomparison Project | 不参加 |
| 16 | ScenarioMIP | Scenario Model Intercomparison Project | 参加 |
| 17 | VolMIP | Volcanic Forcings Model Intercomparison Project | 拟参加 |
| 18 | CORDEX* | Coordinated Regional Climate Downscaling Experiment | 拟参加 |
| 19 | DynVar* | Dynamics and Variability of the Stratosphere‐Troposphere System | 不参加 |
| 20 | SIMPI* | Sea‐Ice Model Intercomparison Project | 不参加 |
| 21 | VIACS AB* | VIACS Advisory Board for CMIP6 | 不参加 |
新窗口打开|下载CSV
5 结论与展望
地球系统模式是开展地球系统科学研究的重要工具和实验平台,它是一个复杂的涉及多个学科的大型软件系统。CAS-ESM是中国自主研发的地球系统模式软件系统,除了在数学建模上有许多优点和独特性外,在高性能并行计算的方法和优化上也开展了大量有明显成效的工作。目前CAS-ESM已完成了第二版本的研发（CAS-ESM2.0）,实现了包括地球物理气候系统（大气、海洋环流、海冰、陆表面过程）与生态环境系统（生物地球化学、动态植被、气溶胶与大气化学）的全耦合模拟,成功模拟出全球地表CO2浓度的季节变化。CAS-ESM2.0将参加国际耦合模式比较计划第六阶段试验（CMIP6）,开展多个类别的比较计划试验,将产出大量的有关气候变化的模拟实验数据,为气候变化及其对策研究和应用提供支撑。同时CAS-ESM2.0的开发成功,特别是在高性能计算方面富有成效的工作,为未来高分辨率地球模式的研发奠定了很好的基础。当前,研究团队正在开发研制高分辨率的包含中高层大气的地球系统模式。利益冲突声明
所有作者声明不存在利益冲突关系。参考文献 原文顺序
文献年度倒序
文中引用次数倒序
被引期刊影响因子
[D].
[本文引用: 1]
[R].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 2]
[J].
[本文引用: 2]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[R].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
URL [本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[C].
[本文引用: 3]
[C].
[本文引用: 1]
[C].
[本文引用: 3]
[C].
[本文引用: 3]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 3]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
URL [本文引用: 1]
[J].
URL [本文引用: 1]
