新版Llama 3 70B反超405B！Meta開卷后訓(xùn)練，谷歌馬斯克都來(lái)?yè)岀R

克雷西 2024-12-07 12:36:14 來(lái)源：量子位

克雷西 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

OpenAI“雙12”剛進(jìn)行到第二天，就把大模型圈攪得好不熱鬧！

一邊是Meta沒(méi)預(yù)告就發(fā)布了Llama 3.3，70B版本就能實(shí)現(xiàn)以前405B的性能。

另一邊谷歌的Gemini也上線了新的實(shí)驗(yàn)版模型，再一次登上大模型競(jìng)技場(chǎng)榜首。

有網(wǎng)友感嘆，o1、Llama 3.3和新版Gemini接連發(fā)布，馬斯克的Grok3也要來(lái)，還有GPT-4.5初露端倪……這簡(jiǎn)直是最棒的一個(gè)圣誕季。

Llama 3.3：70B實(shí)現(xiàn)405B效果

Llama 3.3目前只有70B一個(gè)型號(hào)。

但在指令遵循（IFEval）、數(shù)學(xué)（MATH）、推理（GPQA Diamond）等領(lǐng)域，水平都超過(guò)了七月份發(fā)布的Llama 3.1 405B。

在語(yǔ)言（MMLU）、代碼（HumanEval）、長(zhǎng)文本和多語(yǔ)種能力上，成績(jī)也和Llama 3.1 405B比較接近。

而在工具使用（BFCL）上，和405B的差距則顯得稍大一些。

不過(guò)，Llama 3.3的使用成本要比Llama 3.1 405B低得多。

雖然Llama本身是免費(fèi)的，但是各個(gè)大模型平臺(tái)的服務(wù)價(jià)格也可以作為衡量成本的一個(gè)參考。

在Meta合作的平臺(tái)當(dāng)中，Llama 3.3最便宜的價(jià)格是0.1/0.4美元每百萬(wàn)輸入/輸出Token。

而Llama 3.1 405B，則是1美元每百萬(wàn)輸入token，是Llama 3.3的10倍，輸出token為1.8美元，是Llama 3.3的4.5倍。

Meta生成式AI團(tuán)隊(duì)領(lǐng)導(dǎo)者Ahmad Al-Dahle表示，Llama 3.3能用70B實(shí)現(xiàn)405B的效果，主要是“運(yùn)用了后訓(xùn)練技術(shù)的最新進(jìn)展”，并點(diǎn)名其中包括在線偏好優(yōu)化（online preference optimization）。

Meta AI官方賬號(hào)也提到，Llama 3.3的進(jìn)步歸功于新的對(duì)齊過(guò)程和在線強(qiáng)化學(xué)習(xí)技術(shù)的進(jìn)步。

目前，Llama 3.3的模型權(quán)重已在官網(wǎng)和Hugging Face上開放下載。

Gemini迎來(lái)周歲生日

Gemini 1206上線的這天，剛好是Gemini的一周歲生日。

不過(guò)，從節(jié)奏和以日期命名的方式來(lái)看，Gemini更像是一次例行更新（上一個(gè)版本是1121）。

當(dāng)然成績(jī)還是很不錯(cuò)的，直接登上了lmsys大模型競(jìng)技場(chǎng)的榜首。

而且不只是總成績(jī)奪冠，困難提示詞、代碼、數(shù)學(xué)、創(chuàng)意寫作等各個(gè)單項(xiàng)排名也都是第一。

實(shí)際上，Gemini此前有個(gè)1114版本，也當(dāng)了一周的“榜一大哥”，后來(lái)被更新的GPT-4o給比了下去。

現(xiàn)在的最新版本，又讓Gemini重新回到了榜單上的王座。

此外，谷歌AI Studio產(chǎn)品負(fù)責(zé)人（原OpenAI開發(fā)者社區(qū)主管）Logan介紹，Gemini 1206擁有2百萬(wàn)token的上下文窗口，目前可通過(guò)谷歌AI Studio和Gemini API免費(fèi)使用。

谷歌首席科學(xué)家Jeff Dean表示，取得這樣的成績(jī)是對(duì)Gemini生日最好的慶祝方式。

不過(guò)也有網(wǎng)友給谷歌潑了盆冷水，表示o1還沒(méi)出現(xiàn)在這個(gè)榜單上，而且GPT-4.5就要來(lái)了，谷歌第一的位置恐怕很快又會(huì)被OpenAI奪走。

One More Thing

除了谷歌和Meta，馬斯克xAI也被盛傳即將發(fā)布Grok 3。

有網(wǎng)友發(fā)現(xiàn)，正在測(cè)試的Grok 2 mini消失了，認(rèn)為這是要發(fā)Grok 3的征兆。

除了對(duì)Grok 3的猜測(cè)，還有一條更確定的消息——此前要充會(huì)員才能用的Grok，現(xiàn)在可以免費(fèi)用了。

不過(guò)免費(fèi)用戶用量比較有限，每?jī)尚r(shí)只能處理10條消息，而圖片分析一天只能處理三張。

有意思的是，我們?cè)嚵嗽囋儐?wèn)Grok自己，它也表示Grok 3計(jì)劃在這個(gè)月上線。

但抓馬的是，點(diǎn)進(jìn)后面引用的消息源，發(fā)現(xiàn)這名博主也是問(wèn)Grok之后發(fā)的帖子……

那么，在這個(gè)發(fā)布密集的十二月，你最鐘意或者最期待哪一款產(chǎn)品呢？

參考鏈接：
[1]https://x.com/AIatMeta/status/1865079067390956006
[2]https://x.com/Ahmad_Al_Dahle/status/1865071436630778109
[3]https://x.com/lmarena_ai/status/1865080944455225547