全球最強(qiáng)大模型一夜易主，GPT-4被全面超越

西風(fēng) 2024-03-05 01:06:36 來(lái)源：量子位

白交 西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

Anthropic剛剛官宣：Claude 3來(lái)了！

作為OpenAI最強(qiáng)競(jìng)爭(zhēng)選手，此次它發(fā)布的新模型家族，以最強(qiáng)版Claude 3 Opus為代表，“已經(jīng)實(shí)現(xiàn)了接近人類的理解能力”——

在推理、數(shù)學(xué)、編碼、多語(yǔ)言理解和視覺(jué)方面，全面超越GPT-4在內(nèi)的所有大模型，直接重新樹(shù)立行業(yè)基準(zhǔn)的那種。

淺看一下這份成績(jī)單，就十分扎眼~

幾項(xiàng)數(shù)學(xué)類評(píng)測(cè)都是用0-shot超越GPT-4的4-8 shot。

除此之外，此前就以長(zhǎng)下文窗口見(jiàn)長(zhǎng)的Claude，此次全系列大模型可提供 200K 上下文窗口，并且接受超過(guò)100萬(wàn)Tokens輸入。

Gemini 1.5 Pro：嗯？

目前可以免費(fèi)體驗(yàn)第二強(qiáng)Sonnet，Opus最強(qiáng)版供Claude Pro付費(fèi)用戶使用，但大模型競(jìng)技場(chǎng)也可以白嫖。于是乎，網(wǎng)友們已經(jīng)開(kāi)始瘋玩上了。（Doge）

另外，Opus和Sonnet也開(kāi)放API訪問(wèn)，開(kāi)發(fā)者可以立即使用。

有人直接艾特奧特曼：好了，你現(xiàn)在可以發(fā)布GPT-5了。

不過(guò)奧特曼可能還在煩馬斯克的訴訟……

最新最強(qiáng)大模型發(fā)布

此次Claude 3家族共有三個(gè)型號(hào)：小杯Haiku、中杯Sonnet以及大杯Opus，成本和性能依次遞增。

首先，在性能參數(shù)上，Claude 3全系多方面全面提升。其中Opus在MMLU、GPQA、GSM8K等評(píng)估基準(zhǔn)上領(lǐng)先于其他所有模型：

還有在視覺(jué)能力上，它能可以處理各種視覺(jué)格式，包括照片、圖表、圖形和技術(shù)圖表。

對(duì)于這樣性能結(jié)果，有專業(yè)人士表達(dá)了自己的看法。

比如愛(ài)丁堡大學(xué)博士生、 中文大模型知識(shí)評(píng)估基準(zhǔn)C – Eval提出者之一符堯就表示，像MMLU / GSM8K / HumanEval這些基準(zhǔn)，已經(jīng)嚴(yán)重飽和：所有模型的表現(xiàn)都相同。

他認(rèn)為，真正區(qū)分模型性能基準(zhǔn)的是MATH and GPQA。

另外，在拒絕回答人類問(wèn)題方面，Claude 3也前進(jìn)了一大步，拒絕回答的可能性顯著降低

在上下文以及記憶能力上，他們用大海撈針（Needle In A Haystack，NIAH）來(lái)評(píng)估衡量大模型從大量數(shù)據(jù)中準(zhǔn)確召回信息的能力。

結(jié)果Claude 3 Opus 不僅實(shí)現(xiàn)了近乎完美的召回率，超過(guò) 99% 的準(zhǔn)確率。而且在某些情況下，它甚至能識(shí)別出 “針 “句似乎是人為插入原文的，從而識(shí)別出評(píng)估本身的局限性。

還在生物知識(shí)、網(wǎng)絡(luò)相關(guān)知識(shí)等方面取得了進(jìn)步，但出于負(fù)責(zé)任的考慮，仍處于AI安全級(jí)別2（ASL-2）。

其次，在響應(yīng)時(shí)間上，Claude 3大幅縮短，做到近乎實(shí)時(shí)。

官方介紹，即將發(fā)布的小杯Haiku能夠在三秒內(nèi)閱讀并理解帶有圖表的長(zhǎng)度約10k token的arXiv論文。

而中杯Sonnet能夠在智能水平更高的基礎(chǔ)上，速度比Claude 2和Claude 2.1快2倍，尤其擅長(zhǎng)知識(shí)檢索或自動(dòng)化銷售等需快速響應(yīng)的任務(wù)。

大杯Opus的智能水平最高，但速度不減，與Claude 2和Claude 2.1近似。

官方對(duì)三款型號(hào)的模型也有清晰的定位。

• 大杯Opus：比別家模型更智能。適用于復(fù)雜的任務(wù)自動(dòng)化、研發(fā)和制定策略；
• 中杯Sonnet：比其他同類模型更實(shí)惠。更適合規(guī)?；＿m用于數(shù)據(jù)處理、RAG、在中等復(fù)雜度工作流程中節(jié)省時(shí)間；
• 小杯Haiku：比同類模型更快速、實(shí)惠。適用于與用戶實(shí)時(shí)互動(dòng)，以及在簡(jiǎn)單工作流程中節(jié)省成本；

在價(jià)格方面，最便宜的小杯定價(jià)0.25美元/1M tokens輸入，最貴的大杯定價(jià)75美元/1M tokens輸入

對(duì)比GPT-4 Turbo，大杯價(jià)格確實(shí)高出不少，也能體現(xiàn)AnthropicAI對(duì)這款模型非常有信心。

第一手實(shí)測(cè)反饋

既如此，那就先免費(fèi)來(lái)嘗嘗鮮~

目前官方頁(yè)面已經(jīng)更新，Claude展現(xiàn)了「理解和處理圖像」這一功能，包括推薦風(fēng)格改進(jìn)、從圖像中提取文本、將UI轉(zhuǎn)換為前端代碼、理解復(fù)雜的方程、轉(zhuǎn)錄手寫(xiě)筆記等。

即使是模糊不清的有年代感的手記文檔，也能準(zhǔn)確OCR識(shí)別：

底下寫(xiě)著：你正在使用他們第二大智能模型Claude 3 Sonnet。

然鵝，可能是人太多的原因，嘗試了幾次都顯示“Failed”

不過(guò)，網(wǎng)友們也已經(jīng)po出了一些測(cè)試效果，比如讓Sonnet解謎題。

為其提供一些示例，要求它找出數(shù)字之間的關(guān)系，比如“1 Dimitris 2 Q 3”，意思是3是1和2相加的結(jié)果。

結(jié)果Sonnet成功解出-1.1加8等于6.9，所以“X”的值應(yīng)該是6.9：

還有網(wǎng)友發(fā)現(xiàn)Sonnet現(xiàn)在也可以讀取 ASCII 碼了，直呼：這是GPT-4 ++的水平了。

在編程任務(wù)上，誰(shuí)寫(xiě)的代碼好先不說(shuō)，Claude 3至少不會(huì)像GPT-4一樣偷懶。

還有體驗(yàn)到了Opus的玩家，在線給模型挖坑，可opus硬是完美躲避不上當(dāng)：

初看這效果，感覺(jué)還行。這時(shí)候應(yīng)該艾特OpenAI：GPT-5在哪里？

好了，感興趣的朋友，可以戳下方鏈接體驗(yàn)啦~
https://claude.ai/
參考鏈接：
[1]https://www.anthropic.com/news/claude-3-family
[2]https://twitter.com/AnthropicAI/status/1764653830468428150/photo/1