Gemini Pro還不如GPT-3.5，CMU深入對(duì)比研究：保證公平透明可重復(fù)

夢(mèng)晨 2023-12-20 14:13:08 來(lái)源：量子位

夢(mèng)晨 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

谷歌Gemini實(shí)力到底如何？卡耐基梅隆大學(xué)來(lái)了場(chǎng)專業(yè)客觀第三方比較。

為保證公平，所有模型使用相同的提示和生成參數(shù)，并且提供可重復(fù)的代碼和完全透明的結(jié)果。

不會(huì)像谷歌官方發(fā)布會(huì)那樣，用CoT@32對(duì)比5-shot了。

一句話結(jié)果：Gemini Pro版本接近但略遜于GPT-3.5 Turbo，GPT-4還是遙遙領(lǐng)先。

在深入分析中還發(fā)現(xiàn)Gemini一些奇怪特性，比如選擇題喜歡選D……

不少研究者表示，太卷了，Gemini剛發(fā)布沒(méi)幾天就搞出這么詳細(xì)的測(cè)試。

六大任務(wù)深入測(cè)試

這項(xiàng)測(cè)試具體比較了6大任務(wù)，分別選用相應(yīng)的數(shù)據(jù)集：

• 知識(shí)問(wèn)答：MMLU
• 推理：BIG-Bench Hard
• 數(shù)學(xué)：GSM8k、SVAMP、ASDIV、MAWPS
• 代碼：HumanEval、ODEX
• 翻譯：FLORES
• 上網(wǎng)沖浪：WebArena

知識(shí)問(wèn)答：

喜歡選D

從結(jié)果可以看出，使用思維鏈提示在這類任務(wù)上不一定能帶來(lái)提升。

MMLU數(shù)據(jù)集里都是多選題，對(duì)結(jié)果進(jìn)一步分析還發(fā)現(xiàn)奇怪現(xiàn)象：Gemini更喜歡選D。

GPT系列在4個(gè)選項(xiàng)上的分布就要平衡很多，團(tuán)隊(duì)提出這可能是Gemini沒(méi)針對(duì)多選題做大量指令微調(diào)造成的。

另外Gemini的安全過(guò)濾比較嚴(yán)重，涉及道德問(wèn)題只回答了85%，到了人類性行為相關(guān)問(wèn)題只回答了28%。

Gemini Pro表現(xiàn)超過(guò)GPT-3.5的兩個(gè)科目是安全研究和高中微觀經(jīng)濟(jì)學(xué)，但差距也不大，團(tuán)隊(duì)表示分析不出來(lái)什么特別的。

推理：長(zhǎng)問(wèn)題不擅長(zhǎng)

Gemini Pro在更長(zhǎng)、更復(fù)雜的問(wèn)題上表現(xiàn)不佳，而GPT系列對(duì)此更穩(wěn)健。

GPT-4 Turbo尤其如此，即使在較長(zhǎng)的問(wèn)題上也幾乎沒(méi)有性能下降，表明它具有理解復(fù)雜問(wèn)題的強(qiáng)大能力。

如果按問(wèn)題類型來(lái)分析，Gemini特別不擅長(zhǎng)“tracking_shuffled_objects”這類問(wèn)題，也就人們交換物品，最后讓AI判斷誰(shuí)擁有哪些物品。

Gemini比較擅長(zhǎng)的任務(wù)是，需要世界知識(shí)的體育運(yùn)動(dòng)理解、操作符號(hào)堆棧、按字母順序排序單詞，解析表格。

數(shù)學(xué)：復(fù)雜任務(wù)反超

這一次問(wèn)題本身太長(zhǎng)Gemini Pro和GPT-3.5表現(xiàn)就一起下降，只有GPT-4還能保持一貫水準(zhǔn)。

但使用的思維鏈提示長(zhǎng)度最長(zhǎng)時(shí)，Gemini反超GPT-3.5。

代碼：擅長(zhǎng)matplotlib

對(duì)于代碼問(wèn)題，Gemini在參考答案長(zhǎng)的問(wèn)題上表現(xiàn)很差。

按調(diào)用的庫(kù)來(lái)分類，GPT系列在大多數(shù)類型更強(qiáng)，但matplotlib就完全不行。

翻譯：只要回答了，質(zhì)量就很高

翻譯任務(wù)上，有12種類型Gemini拒絕回答，但是只要回答了的翻譯質(zhì)量都很高，整體表現(xiàn)超過(guò)GPT-4。

Gemini拒絕翻譯的類型主要涉及拉丁語(yǔ)、阿拉伯語(yǔ)。

網(wǎng)絡(luò)導(dǎo)航：擅長(zhǎng)跨站點(diǎn)沖浪

WebArena給AI模擬了一個(gè)互聯(lián)網(wǎng)環(huán)境，包括電子商務(wù)、社交論壇、GitLab協(xié)作開(kāi)發(fā)、內(nèi)容管理系統(tǒng)和在線地圖等，需要AI查找信息或跨站點(diǎn)完成任務(wù)。

Gemini在整體表現(xiàn)不如GPT-3.5 Turbo，但在跨多個(gè)站點(diǎn)的任務(wù)中表現(xiàn)稍好。

網(wǎng)友：但是它免費(fèi)啊

最后，CMU副教授Graham Neubig承認(rèn)了這項(xiàng)研究的一些局限性。

• 基于API的模型行為可能隨時(shí)變化
• 只嘗試了有限數(shù)量的提示，對(duì)不同模型來(lái)說(shuō)適用的提示詞可能不一樣
• 無(wú)法控制測(cè)試集是否泄露

谷歌大模型推理團(tuán)隊(duì)負(fù)責(zé)人周登勇指出，對(duì)于推理任務(wù)把Gemini的溫度設(shè)置為0可以提高5-10個(gè)百分點(diǎn)。

這項(xiàng)測(cè)試中除了Gemini與GPT系列，還搭上了最近很受關(guān)注的開(kāi)源MoE模型Mixtral。

不過(guò)強(qiáng)化學(xué)習(xí)專家Noam Brown認(rèn)為可以忽略其中Mixtral的結(jié)果，因?yàn)橛玫氖堑谌紸PI而非官方實(shí)現(xiàn)。

Mistral AI創(chuàng)始人也來(lái)給團(tuán)隊(duì)提供了官方版調(diào)用權(quán)限，認(rèn)為能得到一個(gè)更好的結(jié)果。

總得來(lái)，雖然Gemini Pro還是不如GPT-3.5，但是它勝在每分鐘調(diào)用不超過(guò)60次就免費(fèi)。

所以還是有不少個(gè)人開(kāi)發(fā)者已經(jīng)轉(zhuǎn)換了陣營(yíng)。

目前Gemini最高版本Ultra版尚未發(fā)布，到時(shí)CMU團(tuán)隊(duì)也有意繼續(xù)這項(xiàng)研究。

你覺(jué)得Gemini Ultra能達(dá)到GPT-4水平么？

論文：
https://arxiv.org/abs/2312.11444

參考鏈接：
[1]https://twitter.com/gneubig/status/1737108977954251216