OpenAI重奪競(jìng)技場(chǎng)第一，但這波靠的是4o

魚羊 2024-11-21 13:16:54 來(lái)源：量子位

魚羊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

OpenAI開發(fā)者日新加坡站今天啟幕，果不其然，ChatGPT又出手了：

Gemini剛在競(jìng)技場(chǎng)頭把交椅上坐了不到一周，最新版ChatGPT輕輕一更新，第一再次易主。

對(duì)，還不是o1滿血版，而是新版4o。

具體來(lái)說(shuō)，此番GPT-4o更新的是“創(chuàng)意寫作能力”，官方說(shuō)法是：

模型能完成更自然、更有吸引力、更具針對(duì)性的寫作，文本相關(guān)性和可讀性更強(qiáng)。

還可以更好地處理上傳的文件，提供更深入的見解和更全面的響應(yīng)。

o1核心貢獻(xiàn)者Karina Nguyen對(duì)此做了進(jìn)一步解釋：

作為Canvas功能的一部分，我們希望改進(jìn)寫作，因?yàn)檫@是一個(gè)頂級(jí)用例，并且可能會(huì)改變?nèi)藱C(jī)協(xié)作的方式，來(lái)更具創(chuàng)造性地完成寫作任務(wù)。

我認(rèn)為我們還沒有完全解決這個(gè)研究問(wèn)題，因?yàn)樗浅Ｖ饔^且開放，但至少在寫作方面取得進(jìn)展，是AGI創(chuàng)造性智能的關(guān)鍵。

而在大模型競(jìng)技場(chǎng)的創(chuàng)意寫作分榜上，可以看到新版4o（ChatGPT-4o-1120）確實(shí)有明顯的提升，分?jǐn)?shù)從上個(gè)版本的1365提升到了1402。

至于實(shí)際效果，我們簡(jiǎn)單測(cè)試了一下，看看你能給打個(gè)幾分：

重返第一，但4o

除了在總榜上為OpenAI重奪第一，新版4o在體現(xiàn)具體能力的各個(gè)分榜上亦有提升。

在創(chuàng)意寫作方面，從第2位升至第1位；

在代碼能力方面，從第2位升至第1位；

在數(shù)學(xué)能力方面，從第4位升至第3位（第1還是o1-preview）；

在困難任務(wù)方面，從第2位升至第1位。

并且在風(fēng)格控制（Style Control）之后，新版4o依然位居首位。

風(fēng)格控制旨在讓榜單分?jǐn)?shù)更真實(shí)地反映模型解決問(wèn)題的能力，避免模型靠漂亮的格式、增加回答長(zhǎng)度刷分。

總勝率熱圖顯示，新版4o對(duì)上此前登頂?shù)腉emini-Exp-1114，勝率為59%；對(duì)上Claude 3.5 Sonnet，勝率為69%；對(duì)上5月版本的4o，更是在72%的情況下都能取勝。

嗯，看上去很強(qiáng)很不錯(cuò)，但還是那句話……是4o。

結(jié)合今日份DeepSeek的大新聞——DeepSeek版o1滿血上線，還計(jì)劃開源，不少網(wǎng)友直接在奧特曼“新的好模型來(lái)了”的推文下貼臉嘲諷起來(lái)：

可不是嘛，deepseek挺好。

快把o1放出來(lái)，跟deepseek-r1正面比較一下:)

簡(jiǎn)而言之就是：o1滿血版今年上線傳得滿城風(fēng)雨，現(xiàn)在2024年都只剩下40幾天了，OpenAI你暗搓搓更新個(gè)4o是鬧哪樣！

還有人試圖總結(jié)OpenAI的更新模式：

OpenAI的老伙計(jì)們怕不是寫了個(gè)腳本，用來(lái)查詢大模型競(jìng)技場(chǎng)排名第一的模型。

當(dāng)返回值不是OpenAI的模型時(shí)，他們就部署個(gè)新版本來(lái)拿回第一。

嗯，才不管你期待的是什么呢╭(╯^╰)╮

另外，還有網(wǎng)友拿新4o的生成結(jié)果去做了測(cè)試，結(jié)果系統(tǒng)還是當(dāng)場(chǎng)判斷出了100%AI寫的：

△圖源：@TuhinChakr

不過(guò)，一片吐槽聲中，也有人認(rèn)真研究了一下OpenAI的更新。

比如，在系統(tǒng)提示詞方面，大佬發(fā)現(xiàn)，OpenAI確實(shí)偷偷給ChatGPT加了點(diǎn)料的：

## guardian_tool

Use the guardian tool to lookup content policy if the conversation falls under one of the following categories:

– `’election_voting’`: Asking for election-related voter facts and procedures happening within the U.S. (e.g., ballots dates, registration, early voting, mail-in voting, polling places, qualification).

Do so by addressing your message to guardian_tool using the following function and choose `category` from the list `[‘election_voting’]`:

“`python

get_policy(category:str) -> str

“`

The guardian tool should be triggered before other tools. DO NOT explain yourself.
“””

簡(jiǎn)單來(lái)說(shuō)，就是新增了一道護(hù)欄，確保ChatGPT不在敏感話題上胡說(shuō)八道。

那么，如果你想試試新版4o具體能寫出什么“創(chuàng)意”內(nèi)容，現(xiàn)在可以到競(jìng)技場(chǎng)免費(fèi)試試：
https://lmarena.ai/?leaderboard

有什么好玩的結(jié)果，歡迎回評(píng)論區(qū)分享給大伙兒~

參考鏈接：
[1]https://x.com/OpenAI/status/1859296125947347164
[2]https://x.com/lmarena_ai/status/1859307979184689269

— 完 —