馬斯克突發(fā)新版大模型，犧牲特斯拉資源叫板OpenAI，一手實(shí)測(cè)來(lái)了

夢(mèng)晨 2024-08-14 16:15:31 來(lái)源：量子位

夢(mèng)晨 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

馬斯克旗下xAI大模型，出二代了！

Grok-2測(cè)試版發(fā)布，小杯Grok-2 mini已經(jīng)在平臺(tái)在線可玩。

馬斯克還以謎語(yǔ)人的形式，揭曉了困擾大模型圈一個(gè)多月的秘密：

原來(lái)Lmsys大模型競(jìng)技場(chǎng)上的神秘匿名模型sus-column-r，真身就是Grok-2。

sus-column-r在排行榜上積累了1萬(wàn)多人類投票，已經(jīng)與GPT-4o的API版并列第三。

在xAI自己的內(nèi)部測(cè)試中，Grok-2在常識(shí)（MMLU、MMLU-Pro）、數(shù)學(xué)競(jìng)賽問(wèn)題(MATH)、研究生水平科學(xué)知識(shí)?(GPQA)等領(lǐng)域與其他前沿模型相媲美。

另外Grok-2最擅長(zhǎng)基于視覺(jué)的任務(wù)，在視覺(jué)數(shù)學(xué)推理?(MathVista)?達(dá)到SOTA。

不過(guò)這個(gè)圖的排版可就有點(diǎn)心機(jī)在里面了：把分?jǐn)?shù)最高的GPT-4o、Claude-3.5-Sonnet放得離自己遠(yuǎn)一些。

光看分?jǐn)?shù)還是抽象，下面就進(jìn)入一手實(shí)測(cè)環(huán)節(jié)。

一手實(shí)測(cè)Grok-2

如果你是/推特平臺(tái)付費(fèi)用戶，可以直接進(jìn)入Grok頻道試玩。不花錢的話也可以到Lmsys大模型競(jìng)技場(chǎng)選擇sus-column-r試玩。

而且付費(fèi)用戶反倒只能玩到小杯mini版，免費(fèi)用戶能玩大杯，也是很厚到了。

由于Grok-2可以訪問(wèn)上的實(shí)時(shí)數(shù)據(jù)，可以直接讓他總結(jié)當(dāng)天的新聞，開(kāi)啟趣味模式的話還可以附贈(zèng)吐槽。

付費(fèi)版本還接入了最新開(kāi)源AI生圖模型Flux.1，會(huì)把中文提示詞翻譯成英文理解。

點(diǎn)進(jìn)主頁(yè)上的“安利一個(gè)奇幻游戲”問(wèn)題示例，可以看到它先推薦了《博德之門3》，并從劇情、人物自定義、游戲機(jī)制、世界塑造、幽默元素和玩家社區(qū)幾個(gè)角度做點(diǎn)評(píng)，很好的把握了游戲的亮點(diǎn)。

此時(shí)可以直接換中文繼續(xù)提問(wèn)。

Grok-2同樣了解《黑神話：悟空》這款還沒(méi)發(fā)售的游戲，準(zhǔn)確說(shuō)出發(fā)售日期在8月20日、使用的虛幻5引擎，并且總結(jié)了上網(wǎng)友的討論。

還在最后附帶了網(wǎng)友的帖子，可以點(diǎn)進(jìn)去參與討論，與整個(gè)平臺(tái)的功能整合已經(jīng)到位了。

不過(guò)由于上只有mini版模型，接下來(lái)上強(qiáng)度測(cè)試我們移步大模型競(jìng)技場(chǎng)，還可以與GPT-4o來(lái)一場(chǎng)捉對(duì)pk。

在最近流行的智商檢測(cè)問(wèn)題“9.9和9.11哪個(gè)大”上，Grok-2（sus-column-r）表現(xiàn)碾壓ChatGPT最新版本。

不過(guò)另一項(xiàng)流行測(cè)試“strawberry中有幾個(gè)r”問(wèn)題上，兩者都還是沒(méi)能通過(guò)。（多試幾次兩者都有小概率答對(duì)）。

更嚴(yán)肅一些的陷阱題“以下哪支蠟燭是最先被吹滅的”中，Grok-2比ChatGPT稍有進(jìn)步。

考點(diǎn)是最先被吹滅的蠟燭剩下的部分更長(zhǎng)（正確答案3），ChatGPT錯(cuò)誤的理解成最短的，Grok-2思路是對(duì)的但是數(shù)哪個(gè)最長(zhǎng)沒(méi)數(shù)對(duì)。

對(duì)于經(jīng)典的大模型弱點(diǎn)“逆轉(zhuǎn)詛咒”問(wèn)題，兩者似乎都以某種方式克服了。不僅能正著回答“湯姆克魯斯的母親是誰(shuí)”，也能倒過(guò)來(lái)回答數(shù)據(jù)出現(xiàn)頻率更少的“Mary Lee Pfeiffer的兒子是湯姆克魯斯”。

（當(dāng)然不排除只是成為經(jīng)典問(wèn)題之后，相關(guān)數(shù)據(jù)更多了。）

馬斯克大模型升級(jí)，犧牲特斯拉換的

測(cè)試先告一段落，可以看出Grok-2對(duì)比上一代Grok-1.5有了很大進(jìn)步。

背后馬斯克可是，花費(fèi)了大量資源和人力。

比如有新加入xAI的研究員表示，能用10萬(wàn)卡集群做研究，比起在學(xué)校里可憐的資源爽太多了。

但是有一群人可不滿意了：特斯拉股東。

根據(jù)華爾街日?qǐng)?bào)消息，馬斯克持續(xù)把人才、數(shù)據(jù)和GPU資源從特斯拉向xAI轉(zhuǎn)移。

目前為止，xAI已經(jīng)雇傭了至少11名曾在特斯拉工作過(guò)的員工，其中六名直接在Autopilot團(tuán)隊(duì)工作過(guò)。

原本為特斯拉保留的GPU訂單，馬斯克也要求英偉達(dá)優(yōu)先供應(yīng)xAI。

馬斯克還公開(kāi)談?wù)摿颂厮估占拇罅恳曈X(jué)數(shù)據(jù)，他表示這些數(shù)據(jù)可以作為訓(xùn)練xAI模型的資源。

至少三位特斯拉股東因?yàn)檫@事把馬斯克給告了，聲稱將資源轉(zhuǎn)移到xAI損害了特斯拉投資者的利益。

目前案件正在特拉華州法院審理。