1天訓(xùn)完45億參數(shù)大模型！高校計算能力首次比肩科技巨頭

衡宇 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

“第一次，高校擁有了和科技巨頭一樣的計算能力?！?/p>

說這句話的人是中國工程院院士、阿里云創(chuàng)始人王堅。

他口中讓高校計算能力倍增的，是復(fù)旦大學(xué)剛剛發(fā)布的云上科研智算平臺。

名為CFFF（Computing for the Future at Fudan），由復(fù)旦、阿里云、中國電信等共同打造，以公共云模式提供超千卡并行智能計算，支持千億參數(shù)的大模型訓(xùn)練。

這是目前國內(nèi)高校最大的云上科研智算平臺——67年前，我國第一架電子計算機（復(fù)旦601型電子積分機，1956年）誕生在復(fù)旦；67年后，復(fù)旦再次走在前列。

目前，首個基于CFFF平臺訓(xùn)練的科學(xué)大模型成果已經(jīng)對外正式發(fā)布，45億參數(shù)的中短期天氣預(yù)報大模型可一日訓(xùn)完。

組成CFFF平臺的兩個計算集群，一個名為“近思”一號，一個名為“切問”一號。

兩個名字都從復(fù)旦校訓(xùn)“博學(xué)而篤志，切問而近思”中采擷而來。

發(fā)布會上，首屆世界科學(xué)智能大賽也正式啟動，設(shè)置5大前沿研究賽道，賽題基于CFFF平臺而來，目的是推動科學(xué)大模型落地。

CFFF是什么？

CFFF平臺，全稱Computing for the Future at Fudan。

這個名字被王堅解讀為“計算，因為在復(fù)旦而創(chuàng)造了未來”。

兩個計算集群共同組成了CFFF平臺——

一個是面向高精尖研究的專用高性能計算集群“近思”一號，部署部署在復(fù)旦江灣校區(qū)；

另一個是面向多學(xué)科融合創(chuàng)新的AI for Science智能計算集群“切問”一號，托管在1500公里外的內(nèi)蒙古阿里云烏蘭察布數(shù)據(jù)中心。

兩者分隔千里，但同聲相應(yīng)。

復(fù)旦大學(xué)浩清教授、人工智能創(chuàng)新與產(chǎn)業(yè)研究院院長漆遠對CFFF平臺做了進一步介紹。

據(jù)他講述，基于百G高速數(shù)據(jù)傳輸網(wǎng)、阿里云大規(guī)模異構(gòu)算力融合調(diào)度技術(shù)、分級存儲技術(shù)、AI與大數(shù)據(jù)一體化技術(shù)，兩個計算集群練成了一臺真正意義上的“超級計算機”。

何以見得？

最直觀的表現(xiàn)，復(fù)旦大學(xué)四校區(qū)的所有實驗設(shè)備都能高速接入CFFF平臺，做到異構(gòu)算力統(tǒng)一管理，計算任務(wù)統(tǒng)一調(diào)度，滿足不同應(yīng)用場景下的科學(xué)智能研究與應(yīng)用需求。

此外，CFFF平臺還擁有國內(nèi)高校最大規(guī)模的多級數(shù)據(jù)冷熱分層存儲集群，解決了海量科研數(shù)據(jù)無法長期備份的痛點，并支持云上高速傳輸。

舉個例子，以往PB級科研數(shù)據(jù)從復(fù)旦校內(nèi)傳到西部數(shù)據(jù)中心需要兩周，如今當天就能完成。

有賴于公共云模式，跑在CFFF平臺上的項目可享受到超千卡并行的智能算力，千卡并行的有效算力達到行業(yè)領(lǐng)先的92%，可拓展性達到萬卡，萬卡并行有效算力也可達90%。

同時，CFFF平臺可實現(xiàn)年平均PUE小于1.2，每年節(jié)省總電力超過2000兆瓦時，年均節(jié)碳量達1500噸。

可以說是非常低碳了。

復(fù)旦校方透露道，CFFF平臺從開始建設(shè)的第一天起，就收到來自復(fù)旦不同院系的多種研究需求，如生命科學(xué)、大氣科學(xué)、材料科學(xué)領(lǐng)域，以及金融系統(tǒng)分析等社會科學(xué)研究領(lǐng)域。

平臺上的云原生與低代碼工程化AI開發(fā)平臺，進一步降低了AI與科研融合的門檻。

目前，CFFF平臺上的第一個科研成果已經(jīng)誕生，并正式對外發(fā)布。

成果是45億參數(shù)量的中短期天氣預(yù)報大模型，來自復(fù)旦人工智能創(chuàng)新與產(chǎn)業(yè)研究院李昊團隊。

在公開數(shù)據(jù)集上，該模型預(yù)測效果首次達到業(yè)界公認的ECMWF（歐洲中期天氣預(yù)報中心）集合平均水平，并將預(yù)測速度從原來的小時級縮短到了3秒內(nèi)。

而這樣一個45億參數(shù)的大模型，在CFFF平臺上完成訓(xùn)練，用時只需1天。

中國科學(xué)院院士、復(fù)旦大學(xué)校長金力在現(xiàn)場提到：

CFFF設(shè)計成了開放的體系，我們非常歡迎產(chǎn)學(xué)研創(chuàng)新以及校企合作。但是從另一點來說，CFFF的建立表面上來看是解決算力問題，實際上不完全是。

它還必須解決兩件事情，一是“讓原來不會用AI工具的人，去用最好的AI工具”，二是“讓原來不懂AI的人去懂AI”。

7名院士擔任顧問，大賽7月25日開賽

“當前，AIforScience成為熱點領(lǐng)域?！苯鹆FFF稱為復(fù)旦推動基礎(chǔ)研究范式變革中的關(guān)鍵利器，“AI與科學(xué)的融合發(fā)展，開拓了科研的新范式。”

CFFF平臺啟動儀式現(xiàn)場，首屆世界科學(xué)智能大賽也宣布啟動。

從現(xiàn)場獲悉，大賽由復(fù)旦聯(lián)合阿里云天池平臺、中國電信、中國信通院云大所等舉辦。

面向全球開放，擬邀請全球五大洲數(shù)千支隊伍參賽，選手不限國籍年齡，高校、科研機構(gòu)、企業(yè)、個人均可自由組隊。

包括金力（生命科學(xué)家）、王堅（云計算專家）在內(nèi)，共有7名院士擔任本次大賽的顧問。

共設(shè)置5大賽道，分別是生命科學(xué)、大氣科學(xué)、材料科學(xué)、流體力學(xué)、量子化學(xué)，賽題基于CFFF平臺設(shè)計。

其中，生命科學(xué)賽道，以生物學(xué)年齡評價與老年病風險預(yù)測為賽題，通過測量和分析生物體內(nèi)特定指標或生理過程的狀態(tài)，評估個體的生理年齡和健康狀況。

大賽為參賽者開放了近萬樣本的個體甲基化數(shù)據(jù)以及其年齡、性別及老年病患病信息，期望參賽者能夠基于甲基化測量對健康個體的年齡給出準確的預(yù)測。

而材料科學(xué)賽道，以MOF材料的預(yù)測合成為切入點，探求計算成本更低、更高效、更精確的求解方法。

大賽整理了大量文獻等，形成了1500種MOF材料的合成條件數(shù)據(jù)集，期待參賽選手基于此建立預(yù)測模型，準確地預(yù)測MOF材料的合成條件。

賽程顯示，7月25日大賽初賽開啟，9月底，各賽道分批開啟復(fù)賽。

遴選出的優(yōu)秀隊伍將在11月進行線下答辯，角逐最終名次。

大賽設(shè)置100萬元的獎金池，各賽道冠軍獎金10萬元。

所有進入復(fù)賽的選手都將獲得CFFF平臺算力免費支持。此外，阿里云也將提供了ML平臺PAI的免費試用，及算力產(chǎn)品計算資源。

大賽網(wǎng)站：
https://tianchi.aliyun.com/2023CFFFPrize