老黃發(fā)布最強(qiáng)AIGC芯片！內(nèi)存容量暴增近50%，可運(yùn)行任意大模型，“生成式AI的iPhone時(shí)刻已來”

克雷西 蕭簫 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

他來了他來了，老黃帶著「最強(qiáng)生成式AI處理器」和一系列重磅更新來了！

在計(jì)算機(jī)圖形學(xué)頂會(huì)SIGGRAPH上，老黃宣布了英偉達(dá)最新的超級(jí)芯片NVIDIA DGX GH200 Grace Hopper。

這塊芯片搭載了全球最快的內(nèi)存，不僅帶寬每秒5TB，內(nèi)存容量更是暴增接近50%來到141GB，「任何大語(yǔ)言模型都能運(yùn)行」。

同時(shí)，英偉達(dá)還宣布了和Hugging Face的合作——

以后在Hugging Face平臺(tái)上，不需要再下載ML模型自己運(yùn)行，只需要幾步簡(jiǎn)單操作，就能在筆記本上運(yùn)行大模型，有Colab內(nèi)味了(就是不知道有沒有免費(fèi)版)。

至于軟件更新，字里行間也全是AI。

不僅在Omniverse平臺(tái)中集成了一系列時(shí)下熱門的AI工具，新的軟件有不少也是基于大模型打造，像ChatUSD就能幫開發(fā)者們寫代碼。

這也是時(shí)隔五年，老黃再次登上SIGGRAPH的舞臺(tái)。在會(huì)上，他自信滿滿地宣布：

生成式人工智能的「iPhone時(shí)刻」，已經(jīng)來臨。

有網(wǎng)友看完發(fā)布會(huì)后感慨：

英偉達(dá)在AI硬件這方面，已經(jīng)無人能及了。

新芯片組成的「最強(qiáng)超算」來襲

這場(chǎng)發(fā)布會(huì)中最先拋出，也是最引人矚目的，非「最強(qiáng)超算」莫屬。

這臺(tái)超級(jí)計(jì)算機(jī)由256塊DGX GH200 Grace Hopper(簡(jiǎn)稱DGX GH200)連接而成。

用老黃的話，這個(gè)「龐然大物」就是為AIGC時(shí)代量身打造的。

它的算力和內(nèi)存容量分別達(dá)到了1E(10^15)FLOPS和144TB。

下面這張圖展示了它的真實(shí)大小(中間的黑影是老黃)。

不僅是性能優(yōu)異，對(duì)比發(fā)現(xiàn)，性價(jià)比簡(jiǎn)直完爆CPU。

同樣花1億美元，拿來買CPU和GPU分別能得到什么？

CPU的話，可以買8800個(gè)x86架構(gòu)的產(chǎn)品。

這近九千塊CPU加起來，只能帶動(dòng)一個(gè)LLaMA 2、SDXL這樣規(guī)模的AI程序。

功率嘛……是5兆瓦，也就是每小時(shí)5000度電。

如果換成GPU的話，則是2500塊DGX GH200。

能帶動(dòng)的近似規(guī)模的AI程序一下增加到了12個(gè)，功率卻降低到了3兆瓦。

平均到單個(gè)程序上，需要210塊DGX GH200，價(jià)格是800萬美元，功率則為0.26兆瓦。

而組成這個(gè)「最強(qiáng)超算」的DGX GH200，同樣是王者級(jí)別，被稱為「最強(qiáng)生成式AI處理器」。

DGX GH200由Grace CPU和Hopper GPU組成。

其中Grace CPU包含72核心，而后者擁有4P(10^12)FLOPS的算力和500GB的LPDDR5X。

此外，DGX GH200中還加入了海力士的「最快內(nèi)存」HBM3e。

它的容量為141GB，帶寬則高達(dá)每秒5TB，分別是H100的1.7倍和1.55倍。

(好家伙，H100都只配當(dāng)baseline了)

在DGX GH200中，CPU和GPU之間的連接速度是第五代PCIe的7倍。

而從單塊DGX GH200到整個(gè)超級(jí)計(jì)算機(jī)的過程，主打的就是一個(gè)「疊」。

這要得益于它的多GPU高速連接能力。

雙聯(lián)體的DGX GH200，性能幾乎沒有損失，直接就是單體的兩倍。

將雙聯(lián)體的DGX GH200與BlueField-3 DPU和ConnectX-7網(wǎng)卡，就組成了一個(gè)「計(jì)算盒」。

通過NVLink，8個(gè)這樣的「計(jì)算盒」高速連接，就得到了DGX構(gòu)建塊，總內(nèi)存達(dá)到了4.6TB。

這樣的構(gòu)建塊可以合二為一形成新的計(jì)算盒，并最終擴(kuò)展成256 GPU的工作集群Superpod。

NVLink的高速連接能力，讓這256塊GPU「就像是一塊一樣」工作。

至此，顯卡超算的規(guī)模已經(jīng)達(dá)到了本節(jié)開頭老黃所展示的水平。

但這還沒有結(jié)束——Superpod之間還能繼續(xù)連接。

在高速低延時(shí)的Quantum-2 Infiniband平臺(tái)幫助下，超算的規(guī)模可以接著擴(kuò)展……

講到這里，老黃還打趣道：

如果哪天你從(某電商平臺(tái))上買顯卡的時(shí)候發(fā)現(xiàn)了它，千萬不要覺得驚訝！

總之，根據(jù)不同需要，利用DGX GH200將能構(gòu)建出不同規(guī)模的、適應(yīng)AIGC時(shí)代的超級(jí)計(jì)算機(jī)。

據(jù)預(yù)計(jì)，DGX GH200將于明(2024)年第二季度投產(chǎn)。

還發(fā)了3個(gè)RTX新專業(yè)顯卡

除了「最強(qiáng)生成式AI處理器」以外，英偉達(dá)這次也推出了3款船新的工作站顯卡：

RTX 5000、RTX 4500和RTX 4000。

這幾款顯卡均基于Ada Lovelace架構(gòu)設(shè)計(jì)，目前參數(shù)已經(jīng)同步英偉達(dá)官網(wǎng)：

當(dāng)然，專業(yè)顯卡售價(jià)也更貴。

其中RTX 5000售價(jià)達(dá)到4000美元(約合人民幣2.87萬元)，RTX 4500售價(jià)2250美元(約1.6萬元)，RTX 4000售價(jià)1250美元(約8987元)。

老黃也在發(fā)布RTX顯卡時(shí)，再次說出那句經(jīng)典名言：

買得越多，省得越多(the more you buy, the more you save)。

至于去年9月發(fā)布的RTX 6000 Ada顯卡，在這次大會(huì)上也推出了一個(gè)新的工作站設(shè)計(jì)：4塊疊起來，搞個(gè)頂級(jí)「疊疊樂」。

這樣設(shè)計(jì)的單個(gè)RTX工作站，單個(gè)可以提供5828 TFLOPS的AI性能，以及192GB的GPU內(nèi)存。

除此之外，老黃還在這次大會(huì)上宣布了一個(gè)搭載L40S Ada GPU的新款OVX服務(wù)器，數(shù)據(jù)中心專用。

每臺(tái)服務(wù)器搭載8塊L40S Ada GPU，每塊L40S包含高達(dá)18176個(gè)CUDA核心，可以提供近5倍于A100的單精度浮點(diǎn)(FP32)性能。

相比A100，L40S微調(diào)(fine-tune)大模型的性能提升了大約1.7倍。

(沒錯(cuò)，A100已經(jīng)被老黃用來給新硬件當(dāng)對(duì)比了)

具體來說，在這個(gè)OVX服務(wù)器上用860M tokens對(duì)400億參數(shù)的GPT-3大模型進(jìn)行微調(diào)，現(xiàn)在只需要7個(gè)小時(shí)就能完成。

在渲染上，L40S性能也不錯(cuò)，配備了142個(gè)第三代RT核心，可以提供212 teraflops的光線追蹤性能。

預(yù)計(jì)L40S將于今年秋季上市。

AIGC版Colab來了，筆記本跑大模型

不僅是硬件上接連拋出一系列「重磅炸彈」，軟件方面英偉達(dá)也發(fā)布了多款新產(chǎn)品。

首先是和HuggingFace合作，把NVIDIA DGX Cloud AI整合到其中。

在HF的頁(yè)面中，一鍵就能讓模型在云上調(diào)整運(yùn)行。

英偉達(dá)科學(xué)家范麟熙(Jim Fan)激動(dòng)地宣布了這一消息，還透露其中使用的每個(gè)節(jié)點(diǎn)都是8個(gè)H100或A100。

除了與HF合作，英偉達(dá)還推出了自己的Workbench平臺(tái)。

通過連接云端服務(wù)，用筆記本電腦就能跑大模型。

現(xiàn)場(chǎng)還播放了通過Workbench跑SDXL的演示視頻。

在Jupyter中，演示者讓SDXL畫一個(gè)「玩具老黃」。

此時(shí)的SDXL還不知道「玩具老黃」是個(gè)啥玩意兒。

于是演示者現(xiàn)場(chǎng)用8張圖對(duì)模型進(jìn)行了微調(diào)。

微調(diào)后重新繪制的作品，是不是有那味了？

除了上述兩款大模型運(yùn)行工具，英偉達(dá)還推出了最新版的企業(yè)軟件平臺(tái)NVIDIA AI enterprise 4.0。

軟件包的數(shù)量達(dá)到了4500個(gè)，還有數(shù)以萬計(jì)的相關(guān)依賴，而且安全可靠。

谷歌、微軟、亞馬遜、甲骨文等英偉達(dá)合作方都會(huì)在自己的云平臺(tái)中集成這項(xiàng)服務(wù)。

「人類將成為一門新的編程語(yǔ)言」

除此之外，英偉達(dá)的計(jì)算機(jī)圖形與仿真模擬平臺(tái)Omniverse，也宣布了一系列新進(jìn)展。

一方面，更多AI工具可以直接在Omniverse里面調(diào)用了。

包括對(duì)話式AI角色創(chuàng)建工具Convai、高保真AI動(dòng)捕工具M(jìn)ove AI、AI低成本制作CG工具CGWonder Dynamics在內(nèi)，一系列流行AI工具，現(xiàn)在都已經(jīng)通過OpenUSD集成到Omniverse中。

就連Adobe，也計(jì)劃將Adobe Firefly作為API，提供在Omniverse中(就是估計(jì)會(huì)收費(fèi))。

另一方面，英偉達(dá)還將生成式AI技術(shù)和OpenUSD結(jié)合，推出了一些好用的AI工具。

例如ChatUSD，就是一個(gè)基于NVIDIA Nemo框架大模型Copilot，不僅可以回答開發(fā)者有關(guān)USD的問題，還能幫忙生成Python-USD代碼。

又例如DeepSearch，也是一個(gè)基于大模型的新工具，基于文本或圖像輸入，可以快速對(duì)數(shù)據(jù)庫(kù)進(jìn)行3D語(yǔ)義搜索。

在這次大會(huì)上，老黃先是回顧了自己過去所做的「正確決定」——用AI重塑CG，為AI重新發(fā)明GPU。

隨后，他對(duì)未來AI行業(yè)的發(fā)展做了大膽的展望：

未來，幾乎所有事物的前方都會(huì)有一個(gè)大語(yǔ)言模型。

「人」，將成為一種新的編程語(yǔ)言。

以工廠為例，老黃認(rèn)為，未來的工廠將會(huì)由軟件和機(jī)器人來「主宰」。

像汽車這樣的產(chǎn)品，本身就是機(jī)器人，所以生產(chǎn)汽車的工廠，將會(huì)呈現(xiàn)出機(jī)器人制造機(jī)器人的場(chǎng)面。

看來，乘大模型東風(fēng)迅速崛起的英偉達(dá)，這次是真的要ALL IN生成式AI了。

參考鏈接：
[1]https://www.anandtech.com/show/20001/nvidia-unveils-gh200-grace-hopper-gpu-with-hbm3e-memory
[2]https://twitter.com/DrJimFan/status/1688954935248027648
[3]https://tehcrunch.com/2023/08/08/nvidia-ceo-we-bet-the-farm-on-ai-and-no-one-knew-it
[4]https://www.youtube.com/watch?v=3qSQjRaseos