GPT-4不服被Bard反超：最新模型已入場
網(wǎng)友：Bard聯(lián)網(wǎng)不公平
西風(fēng) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
“大模型排位賽”權(quán)威榜單Chatbot Arena刷新：
谷歌Bard超越GPT-4，排名位居第二，僅次于GPT-4 Turbo。
然鵝，眾多網(wǎng)友對此卻表示“不服”、“不公平”。
原來，谷歌AI掌門人Jeff Dean透露，Bard性能大幅提升，是因?yàn)榇钶d了新版大模型——Gemini Pro-scale。
這也就意味著，打“排位賽”的Bard具備了聯(lián)網(wǎng)功能。
網(wǎng)友的質(zhì)疑正是圍繞著這一點(diǎn)展開：
在同一個(gè)排行榜上混合在線和離線大模型，是極易引起誤解的。
Hugging Face的“首席羊駝官”O(jiān)mar Sanseviero也表示：
既然如此…我也可以向lmsys提交具有搜索功能的Mixtral嗎？
面對種種質(zhì)疑聲，Imsys官方做出了回應(yīng)，其中指出：
- Arena排行榜是實(shí)時(shí)的，大家如有疑問，可在Arena中直接比較模型并投票；
- 投票數(shù)據(jù)公開透明，還會(huì)即將發(fā)布關(guān)于用戶提示多樣性和投票質(zhì)量的研究以及相應(yīng)的數(shù)據(jù)集；
對于網(wǎng)友們最關(guān)心的被Bard超越的GPT-4是不聯(lián)網(wǎng)版本的問題，Imsys表示“如果實(shí)時(shí)數(shù)據(jù)的接入能夠提升用戶體驗(yàn)，排行榜將予以體現(xiàn)”。
并且直接@了OpenAI和Bing以及微軟高管Mikhail Parakhin，表示非常樂意在競技場中加入GPT-4聯(lián)網(wǎng)版或Bing Copilot。
最新消息是，OpenAI的最新模型gpt-4-0125-preview現(xiàn)已入駐競技場，等待用戶參與投票。
Bard超越GPT-4是怎么回事？
Chatbot Arena是一個(gè)大模型權(quán)威榜單，由UC伯克利研究人員主導(dǎo)的Imsys（Large Model Systems Organization）組織創(chuàng)建。
該排行榜采用匿名1V1battle的投票規(guī)則，基于Elo評級系統(tǒng)排名。
具體來說，投票頁面如下，兩個(gè)模型Model A和B均匿名，用戶在提出多個(gè)問題后對模型的回答打分，總共有四個(gè)選項(xiàng)：A更好、B更好、A和B一樣好，A和B都不好。
值得一提的是，如果在問答過程中，模型身份泄露，那么該投票作廢。
根據(jù)當(dāng)前榜單，競技場中有56個(gè)大模型：
此前GPT-4憑借“遙遙領(lǐng)先”的評分，長期霸榜，然而新版Bard發(fā)布后，直接超越GPT-4的兩個(gè)版本沖到了第二名，和GPT-4 Turbo只差34分：
更詳細(xì)一點(diǎn)，在所有沒有平局的Model A對B的對決中，Model A獲勝的比例如下：
還有每一對模型組合的單挑次數(shù)（無平局）：
此外，Chatbot Arena排行榜還使用自助法對Elo評分估計(jì)進(jìn)行1000次隨機(jī)抽樣，從而評估置信區(qū)間等。
單個(gè)模型相對于其他所有模型的平均勝率如下：
不過值得注意的是，Arena排行榜是實(shí)時(shí)的，Bard目前雖然排名第二，但總共只有3000多票。
相較而言，GPT-4 Turbo的票數(shù)已經(jīng)達(dá)到了30000+，被超越的兩個(gè)版本的票數(shù)也都是Bard的數(shù)倍。
而現(xiàn)在GPT-4最新版本已入場（雖然還沒有在排行榜上更新），后續(xù)榜單還要再坐等一波～
參考鏈接：https://twitter.com/lmsysorg/status/1752035632489300239
相關(guān)閱讀
一句話讓AI訓(xùn)練AI！20分鐘微調(diào)羊駝大模型，從數(shù)據(jù)收集到訓(xùn)練全包了
這個(gè)模型訓(xùn)練師，好強(qiáng)
克10-EM-P-150x150.jpg)