電腦平板組AI集群，在家就能跑400B大模型，GitHub狂攬2.5K星?

克雷西 2024-07-22 17:24:56 來源：量子位

克雷西 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

不用H100，三臺(tái)蘋果電腦就能帶動(dòng)400B大模型。

背后的功臣，是GitHub上的一個(gè)開源分布式AI推理框架，已經(jīng)斬獲了2.5k星標(biāo)。

利用這個(gè)框架，幾分鐘就能用iPhone、iPad等日常設(shè)備構(gòu)建出自己的AI算力集群。

這個(gè)框架名叫exo，不同于其他的分布式推理框架，它采用了p2p的連接方式，將設(shè)備接入網(wǎng)絡(luò)即可自動(dòng)加入集群。

開發(fā)者使用exo框架連接了兩臺(tái)MacBook Pro和一臺(tái)Mac Studio，運(yùn)算速度達(dá)到了110TFLOPS。

同時(shí)這位開發(fā)者表示，已經(jīng)準(zhǔn)備好迎接即將到來的Llama3-405B了。

exo官方也放話稱，將在第一時(shí)間（day 0）提供對Llama3-405B的支持。

而且不只是電腦，exo可以讓iPhone、iPad等設(shè)備也加入本地算力網(wǎng)絡(luò)，甚至Apple Watch也同樣能夠吸納。

隨著版本的迭代，exo框架也不再是蘋果限定（起初只支持MLX），有人把安卓手機(jī)和4090顯卡也拉進(jìn)了集群。

最快60秒完成配置

與其他分布式推理框架不同，exo不使用master-worker架構(gòu)，而是點(diǎn)對點(diǎn)（p2p）地將設(shè)備進(jìn)行連接。

只要設(shè)備連接到相同的局域網(wǎng)，就可以自動(dòng)加入exo的算力網(wǎng)絡(luò)，從而運(yùn)行模型。

在對模型進(jìn)行跨設(shè)備分割時(shí)，exo支持不同的分區(qū)策略，默認(rèn)是環(huán)內(nèi)存加權(quán)分區(qū)。

這會(huì)在環(huán)中運(yùn)行推理，每個(gè)設(shè)備分別運(yùn)行多個(gè)模型層，具體數(shù)量與設(shè)備內(nèi)存成比例。

而且整個(gè)過程幾乎無需任何手動(dòng)配置，安裝并啟動(dòng)之后系統(tǒng)就會(huì)自動(dòng)連接局域網(wǎng)內(nèi)運(yùn)行的設(shè)備，未來還會(huì)支持藍(lán)牙連接。

在作者的一段視頻當(dāng)中，只用了60秒左右就在兩臺(tái)新的MacBook上完成了配置。

可以看到，在60秒左右時(shí)，程序已然開始在后臺(tái)運(yùn)行。

另外從上面這張圖中還能看出，exo還支持tiny chat圖形化界面，同時(shí)還有兼容OpenAI的API。

不過，這樣的操作只能在集群中的尾節(jié)點(diǎn)（tail node）上實(shí)現(xiàn)。

目前，exo支持蘋果MLX框架和開源機(jī)器學(xué)習(xí)框架tinygrad，對llama.cpp的適配工作也正在進(jìn)行。

美中不足的是，由于iOS實(shí)現(xiàn)更新跟不上Python，導(dǎo)致程序出現(xiàn)很多問題，作者把exo的手機(jī)和iPad端進(jìn)行了暫時(shí)下線，如果確實(shí)想嘗試，可以給作者發(fā)郵件索取。

網(wǎng)友：真有那么好用？

這種利用本地設(shè)備運(yùn)行大模型的方式，在HakerNews上也引發(fā)了廣泛的討論。

本地化運(yùn)行的優(yōu)點(diǎn)，一方面是隱私更有保障，另一方面是模型可以離線訪問，同時(shí)還支持個(gè)性化定制。

也有人指出，利用現(xiàn)有設(shè)備搭建集群進(jìn)行大模型運(yùn)算，長期的使用成本要低于云端服務(wù)。

但針對exo這個(gè)具體的項(xiàng)目，也有不少人表達(dá)了心中的疑問。

首先有網(wǎng)友指出，現(xiàn)有的舊設(shè)備算力水平無法與專業(yè)的服務(wù)商之間差了數(shù)量級(jí)，如果是出于好奇玩一玩還可以，但想達(dá)到尖端性能，成本與大型平臺(tái)根本無法比較。

而且還有人表示，作者演示用的設(shè)備都是高端硬件，一個(gè)32GB內(nèi)存的Mac設(shè)備可能要價(jià)超過2000美元，這個(gè)價(jià)格還不如買兩塊3090。

他甚至認(rèn)為，既然涉及到了蘋果，那可以說是和“便宜”基本上不怎么沾邊了。

這就引出了另一個(gè)問題——exo框架都兼容哪些設(shè)備？難道只支持蘋果嗎？

網(wǎng)友的提問則更加直接，開門見山地問支不支持樹莓派。

作者回復(fù)說，理論上可以，不過還沒測試，下一步會(huì)進(jìn)行嘗試。

除了設(shè)備自身的算力，有人還補(bǔ)充說，網(wǎng)絡(luò)傳輸?shù)乃俣绕款i，也會(huì)限制集群的性能。

對此，框架作者親自下場進(jìn)行了解釋：

exo當(dāng)中需要傳輸?shù)氖切⌒图せ钕蛄?，而非整個(gè)模型權(quán)重。
對于Llama-3-8B模型，激活向量約為10KB；Llama-3-70B約為32KB。
本地網(wǎng)絡(luò)延遲通常很低(<5ms)，不會(huì)顯著影響性能。

作者表示，目前該框架已經(jīng)支持tinygrad，因此雖然測試主要在Mac設(shè)備上展開，（理論上）支持能運(yùn)行tinygrad的所有設(shè)備。

目前該框架仍處于實(shí)驗(yàn)階段，未來的目標(biāo)是把這個(gè)框架變得像Dropbox（一款網(wǎng)盤）一樣簡單。

BTW，exo官方也列出了一些目前計(jì)劃解決的缺點(diǎn)，并進(jìn)行了公開懸賞，解決這些問題的人將獲得100-500美元不等的獎(jiǎng)金。

GitHub：
https://github.com/exo-explore/exo
參考鏈接：
https://x.com/ac_crypto/status/1814912615946330473