IEEE：GPU很好，但不是唯一

十三 2024-03-30 13:33:43 來(lái)源：量子位

金磊 夢(mèng)晨 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

是時(shí)候讓CPU在AI應(yīng)用上 “支棱”起來(lái)了。

這是去年大語(yǔ)言模型大火之時(shí)，權(quán)威期刊IEEE Spectrum在一篇文章中，開(kāi)門見(jiàn)山給出的一個(gè)觀點(diǎn)；并且是由一群AI研究人員得出、聲量越來(lái)越大的那種。

文章還坦言道：

誠(chéng)然GPU可能占據(jù)了主導(dǎo)地位，但在AI領(lǐng)域中的很多情況下，CPU卻是更合適的那一個(gè)。

例如文章引援了Hugging Face首席布道官Julien Simon體驗(yàn)的真實(shí)案例——

拿一個(gè)英特爾? 至強(qiáng)? 系列CPU，就能輕松駕馭Q8-Chat這個(gè)大語(yǔ)言模型，而且響應(yīng)速度很快。

Simon對(duì)此開(kāi)誠(chéng)布公地表示：

GPU雖然很好，但壟斷從來(lái)不是一件好事，可能會(huì)加劇供應(yīng)鏈問(wèn)題并導(dǎo)致成本上升。

英特爾CPU在許多推理場(chǎng)景中都能很好地運(yùn)行。

而這也正與當(dāng)下大模型的發(fā)展趨勢(shì)變化相契合，即逐漸從訓(xùn)練向推理傾斜，大模型不再僅僅較真于參數(shù)規(guī)模、跑分和測(cè)評(píng)，更注重在應(yīng)用側(cè)發(fā)力。

一言蔽之，比的就是看誰(shuí)能“快好省”地用起來(lái)。

不過(guò)話雖如此，但在真實(shí)的AI場(chǎng)景中，CPU真的已經(jīng)“支棱”起來(lái)了嗎？

京東云，選擇CPU

如果說(shuō)當(dāng)時(shí)在這個(gè)話題上，IEEE扮演了 “嘴替”，是在幫那些AI應(yīng)用實(shí)踐的先行者們發(fā)聲，那么這種發(fā)聲，確實(shí)又吸引或帶動(dòng)了更多實(shí)干者來(lái)驗(yàn)證這種可行性。他們?nèi)缃褚呀?jīng)可以給出一個(gè)確定答案，即在很多AI推理的場(chǎng)景中，CPU已經(jīng)能很好地上崗了。

例如中國(guó)公有云服務(wù)器市場(chǎng)的翹楚京東云，它pick的便是最新的第五代英特爾? 至強(qiáng)? 可擴(kuò)展處理器。

具體而言，是在其新一代京東云服務(wù)器上搭載了這款高端CPU。

話不多說(shuō)，我們直接先來(lái)看下效果。

首先，從整體來(lái)看，新一代京東云服務(wù)器的整機(jī)性能最高提升了23%！

除此之外，在AI推理方面的性能也是Up Up Up。

• 計(jì)算機(jī)視覺(jué)推理：性能提升38%
• Llama 2推理：性能提升51%

而之所以能有如此突破，核心就是第五代英特爾? 至強(qiáng)? 可擴(kuò)展處理器內(nèi)置的AMX（高級(jí)矩陣擴(kuò)展）技術(shù)對(duì)AI的加速能力。

英特爾? AMX是針對(duì)矩陣運(yùn)算推出的加速技術(shù)，支持在單個(gè)操作中計(jì)算更大的矩陣，讓生成式 AI 更快地運(yùn)行。

一言以蔽之，你可以把它當(dāng)作內(nèi)置在CPU中的Tensor Core。

展開(kāi)來(lái)說(shuō)， AMX引入了一種包含兩個(gè)組件的新矩陣處理框架，包括二維的寄存器文件，它由被稱為“tile”的寄存器組成；另一個(gè)是一系列能夠在這些tile上執(zhí)行操作的加速器。

在這些技術(shù)的加持之下，以向量檢索為例，當(dāng)處理n個(gè)批次的任務(wù)時(shí)，需要對(duì)n個(gè)輸入向量x和n個(gè)數(shù)據(jù)庫(kù)中的向量y進(jìn)行相似度比較。

這一過(guò)程中的相似度計(jì)算涉及到大量的矩陣乘法運(yùn)算，而英特爾? AMX能夠針對(duì)這類需求提供顯著的加速效果。

△英特爾? AMX架構(gòu)

在提升模型性能的過(guò)程中，英特爾? oneDNN作為AMX的軟件搭檔，可為操作者提供一種高效的優(yōu)化實(shí)現(xiàn)方式。

開(kāi)發(fā)者僅需調(diào)用MatMul原語(yǔ)，并提供必要的參數(shù)，包括一些后處理步驟，oneDNN便會(huì)自動(dòng)處理包括配置塊寄存器、數(shù)據(jù)從內(nèi)存的加載、執(zhí)行矩陣乘法計(jì)算以及將結(jié)果回寫(xiě)到內(nèi)存等一系列復(fù)雜操作，并在最后釋放相關(guān)資源。

這種簡(jiǎn)化的編程模式顯著減輕了工程師的編程負(fù)擔(dān)，同時(shí)提升了開(kāi)發(fā)效率。

通過(guò)上述軟硬結(jié)合的優(yōu)化措施，京東云新一代服務(wù)器就可以在大模型推理和傳統(tǒng)深度學(xué)習(xí)模型推理等場(chǎng)景里提供能滿足客戶性能和服務(wù)質(zhì)量 (QoS) 需求的解決方案，同時(shí)還可以強(qiáng)化各種CPU本就擅長(zhǎng)的通用計(jì)算任務(wù)的處理效率。僅就大家關(guān)心的大模型推理而言，已經(jīng)能用于問(wèn)答、客服和文檔總結(jié)等多種場(chǎng)景。

△Llama2-13B推理性能測(cè)試數(shù)據(jù)

而且除了性能上的優(yōu)化之外，由于搭載了英特爾? AMX等模塊，新一代京東云服務(wù)器也可以更快地響應(yīng)中小規(guī)模參數(shù)模型，把成本也狠狠地打了下去。

你以為這就結(jié)束了？英特爾CPU給新一代京東云服務(wù)器帶來(lái)的好處，可不只涉及推理加速和成本，更可靠的安全防護(hù)也是其獨(dú)到優(yōu)勢(shì)之一。

基于新款處理器內(nèi)置的英特爾? Trust Domain Extension（英特爾? TDX）技術(shù)，京東云在不改變現(xiàn)有應(yīng)用程序的情況下，就能構(gòu)建基于硬件設(shè)備的可信執(zhí)行環(huán)境（Trusted Execution Environment，TEE）。

英特爾? TDX通過(guò)引入信任域（Trust Domain，TD）虛擬環(huán)境，利用多密鑰全內(nèi)存加密技術(shù)，實(shí)現(xiàn)了不同TD、實(shí)例以及系統(tǒng)管理軟件之間的相互隔離，讓客戶的應(yīng)用和數(shù)據(jù)與外部環(huán)境隔離，防止未授權(quán)訪問(wèn)，且性能損耗較低。

總的來(lái)說(shuō)，英特爾CPU上的這項(xiàng)技術(shù)，是從硬件、虛擬化、內(nèi)存到大模型應(yīng)用等多個(gè)層面，為新一代京東云服務(wù)器的數(shù)據(jù)和應(yīng)用保密提供了可靠支撐。

重新發(fā)現(xiàn)CPU的價(jià)值

AI進(jìn)入2.0時(shí)代，所有應(yīng)用都值得重寫(xiě)一遍已逐漸成為共識(shí)。

如果站在算力基礎(chǔ)設(shè)施的視角重新審視這場(chǎng)變革，還能發(fā)現(xiàn)這樣一個(gè)新趨勢(shì)：推理算力越來(lái)越被重視起來(lái)。

也就是隨著大模型應(yīng)用場(chǎng)景的日益豐富，對(duì)推理階段的性能要求也變得更高和多樣化。

一方面，實(shí)時(shí)性強(qiáng)、時(shí)延敏感的終端側(cè)場(chǎng)景需要盡可能短的響應(yīng)時(shí)間；

另一方面，并發(fā)量大、吞吐量高的云端服務(wù)則需要強(qiáng)大的批處理能力。

與此同時(shí)，面向不同硬件平臺(tái)、網(wǎng)絡(luò)條件的推理適配也提出了更復(fù)雜甚至帶有不同前置條件的要求。

如此一來(lái)，此前在硬件上的單一“審美觀”就被改寫(xiě)，本來(lái)就主攻通用計(jì)算、能在整個(gè)AI的協(xié)同編排中扮演重要角色，又能擼袖子自己上、兼顧AI加速，同時(shí)還有更多“才藝”、應(yīng)用適配也更為靈活，相比GPU或?qū)Ｓ眉铀傩酒@取更容易，且已部署到無(wú)處不在的CPU，其價(jià)值也被重新發(fā)現(xiàn)，這一切都順理成章。

相信隨著軟硬件適配的不斷深入，以及云邊端協(xié)同的加速落地，CPU還有望在AI，特別是AI推理實(shí)踐中找到更多的用武之地，發(fā)揮更大的應(yīng)用潛力。

可以預(yù)見(jiàn)，高性能、高效率、高適應(yīng)性的CPU，在大模型越來(lái)越卷的時(shí)代，依舊是個(gè)可靠的選擇。這一點(diǎn)，會(huì)有更多人因?yàn)閷?shí)踐，從而見(jiàn)證。

最后讓我們打個(gè)小廣告：為了科普CPU在AI推理新時(shí)代的玩法，量子位開(kāi)設(shè)了《最“in”AI》專欄，將從技術(shù)科普、行業(yè)案例、實(shí)戰(zhàn)優(yōu)化等多個(gè)角度全面解讀。

我們希望通過(guò)這個(gè)專欄，讓更多的人了解CPU在AI推理加速，甚至是整個(gè)AI平臺(tái)或全流程加速上的實(shí)踐成果，重點(diǎn)就是如何更好地利用CPU來(lái)提升大模型應(yīng)用的性能和效率。

— 完 —