黑馬！大模型競技場榜單更新，國產(chǎn)玩家首次進(jìn)入全球總榜前10

衡宇 2024-05-21 13:21:14 來源：量子位

衡宇 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

龍爭虎斗的大模型競技場，今天突然更新：

國內(nèi)大模型公司零一萬物旗下的Yi-Large千億參數(shù)閉源大模型，躍升總榜第七，也成為榜上國產(chǎn)大模型第一。

可以看到，它的成績幾乎與GPT-4-0125-preview持平。

同時(shí)，國內(nèi)清華系大模型公司智譜華章的GLM-4-0116也殺進(jìn)總榜，位居第15位。

這個(gè)結(jié)果來自累積超1170萬全球用戶的真實(shí)盲測投票數(shù)。

而且大模型競技場最近修改了規(guī)則，只要大模型亮明身份后就不能再繼續(xù)投票，杜絕了刷分的可能性。

再來看Yi-Large排名之前的前6名中，有4個(gè)模型來自GPT，另外有1個(gè)谷歌的Gemini，1個(gè)Anthropic的Claude。

零一萬物創(chuàng)始人兼CEO李開復(fù)博士為此表示，LMSYS提供了一個(gè)第三方的、公正的平臺(tái)，其他競爭對(duì)手也都非常認(rèn)可。

而零一萬物的團(tuán)隊(duì)規(guī)模、參數(shù)規(guī)模、GPU算力都比排名更靠前的模型“小”。

零一萬物的GPU可能只有Google、Microsoft的5%，但團(tuán)隊(duì)一直在探索，能不能訓(xùn)練跟大廠一樣好的模型。
我們的特點(diǎn)就是以千億模型殺入了萬億模型的范圍。如果我們有10倍的GPU，我們的萬億模型應(yīng)該完全可能達(dá)到第一名。

Yi-Large成排名飛升黑馬

大模型競技場官推還給出了Yi-Large的更多成績：

在中文類別中，Yi-Large和GLM-4兩個(gè)國產(chǎn)大模型的表現(xiàn)不俗。

其中，Yi-Large成績尤為突出，與GPT-4o并列總榜第一。

模型強(qiáng)度的置信區(qū)間，則如下圖所示：

值得注意的是，為了提高大模型競技場查詢的整體質(zhì)量，LMSYS還實(shí)施了重復(fù)數(shù)據(jù)刪除機(jī)制，并出具了去除冗余查詢后的榜單。

這個(gè)新機(jī)制旨在消除過度冗余的用戶提示——如過度重復(fù)的“你好”——這類冗余提示可能會(huì)影響排行榜的準(zhǔn)確性。

LMSYS公開表示，去除冗余查詢后的榜單將在后續(xù)成為默認(rèn)總榜。

目前，在去除冗余查詢后的總榜中，Yi-Large的Elo得分更進(jìn)一步，與Claude 3 Opus、GPT-4-0125-preview并列第四。

解釋一下，Elo評(píng)分系統(tǒng)基于統(tǒng)計(jì)學(xué)原理設(shè)定，是當(dāng)前國際公認(rèn)的競技水平評(píng)估標(biāo)準(zhǔn)。在這個(gè)評(píng)分系統(tǒng)里，每個(gè)參賽者都有基準(zhǔn)評(píng)分，然后根據(jù)每場比賽調(diào)整評(píng)分。一旦低分選手擊敗高分選手，那么低分選手就會(huì)獲得較多的分?jǐn)?shù)，反之則較少。

LMSYS引入Elo評(píng)分系統(tǒng)，是為了保證大模型競技場在最大程度上保證排名的客觀公正。

而在分類別的排行榜中，Yi-Large同樣表現(xiàn)亮眼。

編程能力、長提問及最新推出的 “艱難提示詞” 的三個(gè)評(píng)測是LMSYS所給出的針對(duì)性榜單。這三個(gè)榜單以專業(yè)性與高難度著稱，可稱為當(dāng)下大模型最燒腦的公開盲測。

在編程能力（Coding）排行榜上，Yi-Large 的Elo分?jǐn)?shù)超過Anthropic當(dāng)家旗艦?zāi)Ｐ虲laude 3 Opus，僅低于GPT-4o，與GPT-4-Turbo、GPT-4并列第二。

在長提問（Longer Query）榜單上，Yi-Large同樣位列全球第二，與GPT-4-Turbo、GPT-4、Claude 3 Opus并列。

艱難提示詞（Hard Prompts）則是LMSYS響應(yīng)社區(qū)要求，在今天的排行榜刷新中新增的類別。

這個(gè)類別的提示詞來自大模型競技場用戶提交的prompts，它們經(jīng)過專門設(shè)計(jì)，更加復(fù)雜、要求更高且更加嚴(yán)格。

LMSYS增加這一類別榜單的原因，是官方認(rèn)為這類提示能夠測試最新語言模型面臨挑戰(zhàn)性任務(wù)時(shí)的性能。

這個(gè)榜單上，Yi-Large處理艱難提示的能力與GPT-4-Turbo、GPT-4、Claude 3 Opus并列第二。

這次表現(xiàn)亮眼的Yi-Large，是一周前零一萬物剛對(duì)外發(fā)布的閉源模型。

當(dāng)時(shí)官方給出的評(píng)測結(jié)果中，推理方面，Yi-Large在HumanEval和MATH都位列第一，超越GPT-4、Claude3 Sonnet、Gemini 1.5 Pro以及LLaMA3-70B-Instruct（都是時(shí)下大模型領(lǐng)域的佼佼者）。

據(jù)了解，Yi-Large的下一步是采用MoE架構(gòu)的Yi-XLarge，目前已經(jīng)啟動(dòng)訓(xùn)練。

大模型競技場

大模型競技場（Chatbot Arena），似乎已經(jīng)成為現(xiàn)在頭部大模型的兵家必爭之地。

此前，國外如谷歌Bard、OpenAI的神秘大模型gpt2-chatbot（不是GPT-2）、Mistral AI的Mistral Large等模型都在上面沖鋒陷陣。

國內(nèi)諸多玩家也都陸陸續(xù)續(xù)把自家孩子放進(jìn)去考驗(yàn)真功夫。

大神卡帕西去年就夸過大模型競技場很Awesome：

GPT-4o發(fā)布后，OpenAI的CEO奧特曼也轉(zhuǎn)帖引用大模型競技場盲測擂臺(tái)的測試結(jié)果，直呼鵝妹子嚶。

發(fā)布它的開放研究組織LMSYS Org（Large Model Systems Organization）發(fā)布，由加州大學(xué)伯克利分校的學(xué)生和教師、加州大學(xué)圣地亞哥分校、卡耐基梅隆大學(xué)合作創(chuàng)立。

雖然背后團(tuán)隊(duì)主要來自高校，但LMSYS的研究項(xiàng)目卻相對(duì)更貼近產(chǎn)業(yè)。

他們不僅自己開發(fā)大語言模型，還向業(yè)內(nèi)輸出多種數(shù)據(jù)集（其推出的MT-Bench已是指令遵循方向的權(quán)威評(píng)測集）、評(píng)估工具，此外還開發(fā)分布式系統(tǒng)以加速大模型訓(xùn)練和推理，提供線上live大模型打擂臺(tái)測試所需的算力。

在形式上，大模型競技場借鑒了搜索引擎時(shí)代的橫向?qū)Ρ仍u(píng)測思路。

它首先將所有上傳評(píng)測的參賽模型隨機(jī)兩兩配對(duì)，以匿名模型的形式呈現(xiàn)在用戶面前。

在不知道模型型號(hào)名稱的前提下，用戶輸入自己的提示詞，模型A、模型B兩側(cè)分別生成兩PK模型的真實(shí)結(jié)果，然后由用戶在結(jié)果下方做出投票四選一：

A模型較佳/B模型較佳/兩者平手/兩者都不好。

提交投票后，可進(jìn)行下一輪PK。

目前，大模型競技場的評(píng)測過程涵蓋了從用戶直接參與投票、盲測、大規(guī)模投票和動(dòng)態(tài)更新評(píng)分機(jī)制等多個(gè)方面，盡可能保證結(jié)果的客觀和專業(yè)。

官方公開數(shù)據(jù)顯示，本次更新的大模型競技場，共有44款模型參賽。

既有開源高手，如Llama3-70B；也有全球各家大廠、創(chuàng)業(yè)公司的閉源模型。

最后，奉上一張勝率熱圖，它涵蓋了目前大模型競技場上的所有大模型：

快來看看你pick的大模型勝率如何吧（手動(dòng)狗頭）～

大模型競技場盲測平臺(tái)：
https://arena.lmsys.org/
大模型競技場評(píng)測排行（滾動(dòng)更新）：
https://chat.lmsys.org/?leaderboard