華為大模型登Nature正刊！審稿人：讓人們重新審視預(yù)報(bào)模型的未來
僅1.4秒預(yù)報(bào)24小時(shí)全球氣象
允中 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
比傳統(tǒng)方法快1萬倍、只需要1.4秒就能完成24小時(shí)全球氣象預(yù)報(bào)——
它就是來自華為云的盤古氣象大模型。
今天，它登上了Nature，據(jù)稱還是近年來首篇以中國科技公司作為唯一署名單位發(fā)表的Nature正刊論文（也就是華為云獨(dú)作）。
審稿人給予它高度評價(jià)，這一模型使人類得以重新審視氣象預(yù)報(bào)模型的未來。
言外之意，就是有了它，原來的傳統(tǒng)方法都不香了。
那么，它究竟是如何被開發(fā)出來的？解決了哪些關(guān)鍵難題？又有何具體成效和應(yīng)用？
順著這篇論文帶你一文看盡。
破解現(xiàn)有AI氣象預(yù)報(bào)模型精度不足問題
上世紀(jì)20年代以來，特別是近三十年隨著算力的迅速發(fā)展，傳統(tǒng)的數(shù)值天氣預(yù)報(bào)在每日天氣預(yù)報(bào)、極端災(zāi)害預(yù)警、氣候變化預(yù)測等領(lǐng)域取得了巨大的成功。
但是隨著算力增長的趨緩和物理模型的逐漸復(fù)雜化，這一方式的瓶頸日益突出。
于是研究者們開始挖掘新的氣象預(yù)報(bào)范式如使用深度學(xué)習(xí)方法預(yù)測未來天氣。
華為云研發(fā)團(tuán)隊(duì)于2年前開始這方面的研究。
他們發(fā)現(xiàn)，在數(shù)值方法應(yīng)用最廣泛的領(lǐng)域如中長期預(yù)報(bào)中，現(xiàn)有的AI預(yù)報(bào)方法精度仍然顯著低于數(shù)值預(yù)報(bào)方法，并受到可解釋性欠缺，極端天氣預(yù)測不準(zhǔn)等問題的制約。
而造成AI氣象預(yù)報(bào)模型的精度不足主要有兩個(gè)原因：
第一，現(xiàn)有的AI氣象預(yù)報(bào)模型都是基于2D神經(jīng)網(wǎng)絡(luò)，無法很好地處理不均勻的3D氣象數(shù)據(jù)；
第二，AI方法缺少數(shù)學(xué)物理機(jī)理約束，因此在迭代的過程中會不斷積累迭代誤差。
在此，華為云的研究人員提出了3D Earth-Specific Transformer（3DEST）來處理復(fù)雜的不均勻3D氣象數(shù)據(jù)，從而打造了盤古氣象大模型。
其主要思想是使用一個(gè)視覺transformer的3D變種來處理復(fù)雜的不均勻的氣象要素，并且使用層次化時(shí)域聚合策略，訓(xùn)練了4個(gè)不同預(yù)報(bào)間隔的模型（分別為1小時(shí)間隔、3小時(shí)間隔、6小時(shí)間隔、24小時(shí)間隔），使得預(yù)測特定時(shí)間氣象狀況的迭代次數(shù)最小，從而減少迭代誤差，也避免了由遞歸訓(xùn)練帶來的訓(xùn)練資源消耗。
為了訓(xùn)練每個(gè)模型，研究人員使用1979-2021年的氣象數(shù)據(jù)，以小時(shí)為單位采樣，訓(xùn)練了100個(gè)epoch。
每個(gè)模型需要在192塊V100顯卡上訓(xùn)練16天。事實(shí)上，即使經(jīng)歷100個(gè)epoch，這些模型依舊沒有完全收斂。
也就是說，在計(jì)算資源更加充足的情況下，AI預(yù)報(bào)的精度還能夠進(jìn)一步提升。
最終推理時(shí)，盤古氣象大模型僅需在一張V100顯卡上運(yùn)行1.4秒，即可完成24小時(shí)全球氣象預(yù)報(bào)，包括位勢、濕度、風(fēng)速、溫度、海平面氣壓等，其中水平空間分辨率達(dá)到 0.25°×0.25° ，時(shí)間分辨率為1小時(shí)，覆蓋13層垂直高度，可以精準(zhǔn)地預(yù)測細(xì)粒度氣象特征。
而作為首個(gè)精度超過傳統(tǒng)數(shù)值預(yù)報(bào)方法的AI方法，它的計(jì)算速度相比傳統(tǒng)數(shù)值預(yù)報(bào)提升超過10000倍。
可直接應(yīng)用于多個(gè)下游場景
今年5月，臺風(fēng)“瑪娃”走向受到廣泛關(guān)注。
中央氣象局表示，華為云盤古大模型在“瑪娃”的路徑預(yù)報(bào)中表現(xiàn)優(yōu)異，提前五天預(yù)報(bào)出其將在臺灣島東部海域轉(zhuǎn)向路徑。
在第19屆世界氣象大會上，歐洲氣象局也指出，華為云盤古氣象大模型在精度上有不可否認(rèn)的能力，純數(shù)據(jù)驅(qū)動的AI天氣預(yù)報(bào)模型，展現(xiàn)出了可與歐洲中期天氣預(yù)報(bào)中心業(yè)務(wù)數(shù)值模式媲美的預(yù)報(bào)實(shí)力。
歐洲中期天氣預(yù)報(bào)中心主任弗洛倫斯·哈比耶詳細(xì)地展示了華為云盤古氣象大模型與歐洲中期天氣預(yù)報(bào)中心的實(shí)時(shí)運(yùn)行檢驗(yàn)對比情況：
為了探索AI捕獲極端天氣的能力，我們研究了今年2月芬蘭的一個(gè)案例，當(dāng)時(shí)觀測到了-29℃的寒潮，我們發(fā)現(xiàn)盤古較早認(rèn)識到了這一事件的嚴(yán)重性。
弗洛倫斯·哈比耶還強(qiáng)調(diào)，AI預(yù)測方法資源消耗少，為發(fā)展中國家提供了重要機(jī)遇，因?yàn)樗辉傩枰笠?guī)模的超算資源，還為提升全球預(yù)報(bào)能力提供了難得的機(jī)遇。
至于華為云選擇AI氣象預(yù)報(bào)領(lǐng)域作為一個(gè)“突破口”，一方面，氣象預(yù)報(bào)尤其是對極端天氣如暴雨、臺風(fēng)、干旱、寒潮的精準(zhǔn)預(yù)測關(guān)乎國際民生，另一方面，氣象預(yù)測問題非常復(fù)雜，AI可以從海量數(shù)據(jù)中挖掘出新的大氣演變規(guī)律，在精度和速度上具有巨大的提升潛力。
據(jù)了解，世界氣象組織（WMO）即將發(fā)布的WMO2024—2027年戰(zhàn)略計(jì)劃吸收了人工智能元素，使其成為推動氣象科技發(fā)展的重要力量。
WMO還將積極推動AI在臨近預(yù)報(bào)及數(shù)值天氣預(yù)報(bào)等領(lǐng)域的示范應(yīng)用，創(chuàng)建人工智能產(chǎn)品應(yīng)用國際比對平臺，制定AI氣象應(yīng)用標(biāo)準(zhǔn)和指南，推動人工智能數(shù)據(jù)集共享等相關(guān)工作，探索并發(fā)揮AI在氣象領(lǐng)域的應(yīng)用潛力，有效支撐全民早期預(yù)警倡議。
未來三大關(guān)鍵
最后，華為云盤古氣象大模型團(tuán)隊(duì)如何看待AI氣象預(yù)報(bào)的未來？
答案是三大關(guān)鍵：
首先，大數(shù)據(jù)。龐大的氣象數(shù)據(jù)是AI模型的基石，當(dāng)前盤古氣象大模型僅使用部分ERA5再分析數(shù)據(jù)，未來的AI模型將基于海量的、更精細(xì)的全球觀測數(shù)據(jù)。
其次，大算力。氣象數(shù)據(jù)超高的分辨率對AI模型的訓(xùn)練造成了巨大的挑戰(zhàn)，盤古氣象大模型現(xiàn)在的輸入分辨率為1440×720×14×5，相比計(jì)算視覺任務(wù)常用的分辨率224×224×3大約500倍，隨著分辨率的進(jìn)一步增加和模型的增大，需要的算力資源也會迅速增加。
最后，大模型。復(fù)雜的氣象規(guī)律，超高的分辨率與龐大的數(shù)據(jù)量都決定了AI氣象預(yù)報(bào)需要使用計(jì)算量極高的AI模型。
同時(shí)，想要不斷迭代領(lǐng)先的AI氣象預(yù)報(bào)模型，穩(wěn)定的云上環(huán)境、工作套件和對應(yīng)的運(yùn)維也是必不可少的。
論文地址：
https://www.nature.com/articles/s41586-023-06185-3
