MLPerf放榜！大模型時(shí)代算力領(lǐng)域“潛力股”浮出水面：梅開(kāi)二度拿下世界第一，今年獲雙料冠軍

十三 2023-04-06 12:53:36 來(lái)源：量子位

金磊 明敏 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

后ChatGPT時(shí)代下的大模型“算力難”問(wèn)題，“快、好、省”的解法，又來(lái)了一個(gè)。

就在今天，享有“AI界奧運(yùn)會(huì)”之稱(chēng)的全球權(quán)威AI基準(zhǔn)評(píng)測(cè)MLPerf Inference v3.0，公布了最新結(jié)果——

來(lái)自中國(guó)的AI芯片公司，墨芯人工智能（下文簡(jiǎn)稱(chēng)“墨芯”），在最激烈的ResNet50模型比拼中奪冠！

而且在此成績(jī)背后，墨芯給大模型時(shí)代下的智能算力問(wèn)題，提供了一個(gè)非常具有價(jià)值的方向——

它奪冠所憑借的稀疏計(jì)算，堪稱(chēng)是大模型時(shí)代最不容忽視的算力“潛力股”。

不僅如此，墨芯此次還是斬獲了開(kāi)放任務(wù)分區(qū)“雙料冠軍”的那種：

• 墨芯S40計(jì)算卡，以127,375 FPS，獲得單卡算力全球第一；
• 墨芯S30計(jì)算卡，以383,520 FPS算力，獲整機(jī)4卡算力全球第一。

而且墨芯靠著這套打法，在制程方面更是用首顆稀疏計(jì)算芯片12nm的Antoum?打敗了4nm。

不得不提的是，這次對(duì)于墨芯而言，還是“梅開(kāi)二度”；因?yàn)樗谏弦粚肕LPerf，憑借S30同樣是拿下了冠軍。

在與GPT-3參數(shù)相當(dāng)?shù)拈_(kāi)源LLM——1760億參數(shù)的BLOOM上，4張墨芯S30計(jì)算卡在僅采用中低倍稀疏率的情況下，就能實(shí)現(xiàn)25 tokens/s的內(nèi)容生成速度，超過(guò)8張A100。

那么稀疏計(jì)算為什么對(duì)大模型有這般良效？

算力紀(jì)錄再度被刷新

我們不妨先來(lái)看下，墨芯所刷新的紀(jì)錄到底是怎樣的一個(gè)水平。

以墨芯S40為例，在MLPerf數(shù)據(jù)中心的圖像任務(wù)主流模型ResNet-50上，且在相同數(shù)據(jù)集、相同精度條件下，算力達(dá)127,375 FPS。

這個(gè)“分?jǐn)?shù)”是老牌玩家英偉達(dá)H100、A100的1.4倍和2.9倍！

（△1、評(píng)測(cè)條件：MLPerf相同條件、數(shù)據(jù)集、精度；2、A100單卡算力數(shù)據(jù)選擇近兩屆MLPerf最佳成績(jī)；3、“*”代表稀疏等效算力。）

而墨芯S30計(jì)算卡，正如我們剛才提到的，獲得了ResNet-50模型“整機(jī)4卡”冠軍，其算力383,520 FPS；是英偉達(dá)H100的4卡成績(jī)的1.8倍，并且超過(guò)英偉達(dá)A100的8卡成績(jī)。

△1、評(píng)測(cè)條件：MLPerf相同模型、數(shù)據(jù)集、精度；2、“*”代表稀疏等效算力。

再?gòu)淖陨韺?duì)比角度來(lái)看，墨芯S40計(jì)算卡比上屆冠軍S30計(jì)算卡的算力增幅達(dá)33%。

并且與上一次MLPerf相比，墨芯產(chǎn)品相較H100和A100的算力優(yōu)勢(shì)分別擴(kuò)大了20%和90%。

（△1、評(píng)測(cè)條件：MLPerf相同條件、數(shù)據(jù)集、精度；2、A100單卡算力數(shù)據(jù)選擇近兩屆MLPerf最佳成績(jī)；3、“*”代表稀疏等效算力。）

在NLP模型BERT上，墨芯S40計(jì)算卡算力5,069 SPS達(dá)到英偉達(dá)提交的A100算力的2.7倍。

△1、評(píng)測(cè)條件：MLPerf相同模型、數(shù)據(jù)集、精度；2、“*”代表稀疏等效算力。

更重要的一點(diǎn)是，隨著AIGC的大爆發(fā)，加速推理速度、可以在線實(shí)時(shí)交互，成為了亟待解決的需求，而這也是大模型落地的一大痛點(diǎn)。

而在本次MLPerf中，墨芯S30與S10計(jì)算卡在離線（Offline）與在線（Server）兩種模式下，均展現(xiàn)出了優(yōu)異的表現(xiàn)。

△1、評(píng)測(cè)條件：MLPerf相同模型、數(shù)據(jù)集、精度；2、“*”代表稀疏等效算力。

這一點(diǎn)，便證明了稀疏計(jì)算是具備同時(shí)兼顧高吞吐、低延時(shí)的獨(dú)特優(yōu)勢(shì)的。

為什么稀疏計(jì)算會(huì)成為正解？

簡(jiǎn)單理解，稀疏化就是一種聰明的數(shù)據(jù)處理和模型壓縮方式，它讓神經(jīng)網(wǎng)絡(luò)在計(jì)算時(shí)，能夠僅啟用所需的神經(jīng)元。

而稀疏計(jì)算就是將原有AI計(jì)算的大量矩陣運(yùn)算中，含有零元素或無(wú)效元素的部分剔除，以加快計(jì)算速度，由此也能進(jìn)一步降低模型訓(xùn)練成本。

自從Transformers掀起大模型浪潮后，稀疏計(jì)算也成為了大廠關(guān)注的重點(diǎn)方向。

2021年，谷歌研究和OpenAI就罕見(jiàn)合作論文《Sparse is Enough in Scaling Transformers》，力證稀疏計(jì)算能為大模型帶來(lái)數(shù)十倍加速。

而更早以前，2017年OpenAI就發(fā)布了稀疏計(jì)算內(nèi)核，實(shí)現(xiàn)了在同等計(jì)算開(kāi)銷(xiāo)的情況下，能計(jì)算更深的神經(jīng)網(wǎng)絡(luò)。

谷歌這幾年也密集發(fā)布了稀疏計(jì)算方面的多項(xiàng)工作，包括Pathways、PaLM、MoE、GLaM等。

其中Pathways架構(gòu)是稀疏計(jì)算領(lǐng)域的一項(xiàng)重要工作。谷歌在當(dāng)初發(fā)布時(shí)將其稱(chēng)為“下一代人工智能架構(gòu)”，其技術(shù)博客由谷歌大腦負(fù)責(zé)人Jeff Dean親自操刀撰寫(xiě)。

由此可見(jiàn)谷歌對(duì)Pathways架構(gòu)及稀疏計(jì)算的重視。

這篇博客中寫(xiě)道，當(dāng)今的模型是稠密、低效的，Pathways能將它們變得稀疏、高效。

Pathways能做的事，就是實(shí)現(xiàn)訓(xùn)練一個(gè)模型，完成成千上萬(wàn)件事情。

其核心原理在于稀疏計(jì)算，即在執(zhí)行任務(wù)時(shí)僅稀疏激活模型的特定部分，計(jì)算真正有用的元素。

并且在該架構(gòu)發(fā)布沒(méi)幾天后，谷歌就跟進(jìn)了稀疏計(jì)算領(lǐng)域的另一項(xiàng)重要工作：發(fā)布基于Pathways架構(gòu)的5400億參數(shù)大模型PaLM。

之后，谷歌還提出了首個(gè)多模態(tài)稀疏化模型LIMoE，它在降低模型計(jì)算量上的優(yōu)勢(shì)非常突出。

因?yàn)椴捎昧讼∈栌?jì)算，可以實(shí)現(xiàn)執(zhí)行一次任務(wù)只調(diào)用模型中的一個(gè)子模型，那么這次任務(wù)的成本將會(huì)和標(biāo)準(zhǔn)Transformer差不多。比如LIMoE-H/14總共有5.6B參數(shù)，但是通過(guò)稀疏化，它只會(huì)使用每個(gè)token的675M參數(shù)。

就在今年ChatGPT大火后，稀疏化GPT方法也被提出，能夠?qū)崿F(xiàn)不降低模型效果的情況下，將大模型權(quán)重降低一半。

除了在算法架構(gòu)方面以外，硬件計(jì)算側(cè)對(duì)于稀疏化的關(guān)注也在提升。

比如英偉達(dá)就在其Ampere架構(gòu)中首次支持2倍稀疏計(jì)算。

Ampere架構(gòu)為英偉達(dá)A 100帶來(lái)了第三代Tensor Core核心，使其可以充分利用網(wǎng)絡(luò)權(quán)值下的細(xì)粒度稀疏化優(yōu)勢(shì)。

相較于稠密數(shù)學(xué)計(jì)算（dense math），能夠在不犧牲深度學(xué)習(xí)矩陣乘法累加任務(wù)精度的情況下，將最大吞吐量提高了2倍。

以上大廠的動(dòng)作，無(wú)疑都印證了稀疏計(jì)算會(huì)是大模型時(shí)代下AI計(jì)算的有效解之一。

由此也就不難理解，為什么墨芯會(huì)押中稀疏計(jì)算這一方向，并取得最新戰(zhàn)績(jī)。

一方面是很早洞察到了行業(yè)的發(fā)展趨勢(shì)；另一方面也是自身快速準(zhǔn)確做出了定位和判斷。

墨芯創(chuàng)始人兼CEO王維表示，他們從2018、2019年就看到了稀疏計(jì)算給AI計(jì)算帶來(lái)了數(shù)量級(jí)上的性能提升。

與此同時(shí)，Transformers開(kāi)啟了大模型時(shí)代，讓AI從1.0時(shí)代步入2.0，推動(dòng)了AI在應(yīng)用場(chǎng)景、算力需求等方面的改變。

尤其是算力方面，王維認(rèn)為已經(jīng)產(chǎn)生了質(zhì)變：

“小模型時(shí)代，用場(chǎng)景數(shù)據(jù)訓(xùn)練小模型，研發(fā)和部署周期短，對(duì)算力的需求主要是通用性、易用性。到了大模型時(shí)代，大模型主要基于Transformers模型架構(gòu)，更追求計(jì)算速度和算力成本。”

而做稀疏計(jì)算，不只是墨芯一家想到了，前面提到英偉達(dá)也在推進(jìn)這方面進(jìn)展，不過(guò)王維表示，這對(duì)于GPU公司而言可能是“意外收獲”，但如果專(zhuān)注稀疏計(jì)算的話，需要做的是十倍甚至百倍加速。

因此，墨芯選擇的路線是從算法提升上升到軟硬協(xié)同層面。

2022年，墨芯發(fā)布首顆高稀疏倍率芯片Antoum?，能夠支持32倍稀疏，大幅降低大模型所需的計(jì)算量。

墨芯在MLPerf中開(kāi)放分區(qū)的提交結(jié)果刷新記錄，也是對(duì)這一路線的進(jìn)一步印證。

據(jù)透露，不僅在MLPerf上表現(xiàn)出色，墨芯的產(chǎn)品商業(yè)落地上也進(jìn)展迅速。

墨芯AI計(jì)算卡發(fā)布數(shù)月就已實(shí)現(xiàn)量產(chǎn)，在互聯(lián)網(wǎng)等領(lǐng)域成單落地。ChatGPT走紅后墨芯也收到大量客戶(hù)問(wèn)詢(xún)，了解稀疏計(jì)算在大模型上的算力優(yōu)勢(shì)與潛力。

如今，ChatGPT開(kāi)啟新一輪AI浪潮，大模型領(lǐng)域開(kāi)啟競(jìng)速賽、算力需求空前暴增。

如微軟為訓(xùn)練ChatGPT打造了一臺(tái)超算——由上萬(wàn)張英偉達(dá)A100芯片打造，甚至專(zhuān)門(mén)為此調(diào)整了服務(wù)器架構(gòu)，只為給ChatGPT和新必應(yīng)AI提供更好的算力。還在Azure的60多個(gè)數(shù)據(jù)中心部署了幾十萬(wàn)張GPU，用于ChatGPT的推理。

畢竟，只有充足的算力支持，才能推動(dòng)模型更快迭代升級(jí)。

怪不得行業(yè)內(nèi)有聲音說(shuō)，這輪趨勢(shì)，英偉達(dá)當(dāng)屬最大幕后贏家。

但與此同時(shí)，摩爾定律式微也是事實(shí)，單純堆硬件已經(jīng)無(wú)法滿足當(dāng)下算力需求，由此這也推動(dòng)了算力行業(yè)迎來(lái)更新一輪機(jī)遇和變革。可以看到，近兩年并行計(jì)算等加速方案愈發(fā)火熱，這就是已經(jīng)發(fā)生的變化。

而ChatGPT的火熱，無(wú)疑加速了這一變革。在真實(shí)需求的推動(dòng)下，算力領(lǐng)域硬件軟件創(chuàng)新突破也會(huì)更快發(fā)生，模型會(huì)重新定義算法，算法會(huì)重新定義芯片。

你覺(jué)得呢？