豆包文科成績超了一本線，為什么理科不行？

金磊 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

什么？好多大模型的文科成績超一本線，還是最卷的河南省？？？

沒錯，最近就有這么一項大模型“高考大摸底”評測走紅了。

河南高考文科今年的一本線是521分，根據(jù)這項評測，共計四個大模型大于或等于這個分數(shù)，其中頭兩名最值得關(guān)注：

• GPT-4o：562分
• 字節(jié)豆包：542.5分
• ……

從結(jié)果中來看，GPT-4o的表現(xiàn)依舊是處于領(lǐng)先狀態(tài)，而在國產(chǎn)大模型這邊，比較亮眼的成績便屬于豆包了。

并且在語文和歷史等科目的成績甚至還超越了GPT-4o。

這也讓不少網(wǎng)友紛紛感慨：

AI文科成績這么好，看來在處理語言和邏輯上還是很有優(yōu)勢的。

不過有一說一，畢竟國產(chǎn)大模型的競爭是如此之激烈，這份評測的排名真的靠譜嗎？發(fā)布僅數(shù)月的豆包，真具備此等實力嗎？以及這數(shù)學(xué)……又是怎么一回事兒？

先看評測榜單

要回答上述的問題，我們不妨先來查一查豆包在最新的權(quán)威評測榜單中的表現(xiàn)是否一致。

首先有請由智源研究院發(fā)布的FlagEval（天秤）。

它的評測方式是這樣的：

• 對于開源模型， FlagEval會綜合概率選擇和自由生成兩種方式來評測，對于閉源模型， FlagEval只采用自由生成的方式來評測，兩種評測方式區(qū)別參照。
• 主觀評測時部分閉源模型對極小部分題目有拒絕回答的情形，這部分題目并沒有計入能力分數(shù)的計算。

在“客觀評測”這個維度上，榜單成績?nèi)缦拢?/p>

不難看出，這一維度下的FlagEval中，前四名的成績是與“高考大摸底”的名次一致。

大模型依舊分別來自O(shè)penAI、字節(jié)跳動、百度和百川智能。

并且豆包在“知識運用”和“數(shù)學(xué)能力”兩個維度上成績還高于第一名的GPT-4。

若是將評測方式調(diào)節(jié)至“主觀評測”，那么結(jié)果是這樣的：

此時，百度的大模型躍居到了第一名，而字節(jié)的豆包依舊是穩(wěn)居第二的成績。

由此可見，不論是主觀還是客觀維度上，前幾位的名次都是與“高考大摸底”的成績是比較接近的。

接下來，我們再來有請另一個權(quán)威測評——OpenCompass（司南）。

在最新的5月榜單中，豆包的成績也是僅次于OpenA家的大模型。

同樣的，在細分的“語言”和“推理”兩個維度中，豆包還是超越了GPT-4o和GPT-4 Turbo。

但與專業(yè)評測冷冰冰的分數(shù)相比，人們都對高考有著更深刻的體驗和記憶。

那么接下來我們就通過豆包回答高考題，來看看大模型在應(yīng)對人類考試時的具體表現(xiàn)。

再看實際效果

既然目前許多試卷的題目都已經(jīng)流出，我們不妨親測一下豆包的實力。

例如讓它先寫一篇新課標(biāo)I卷語文的作文題目：

隨著互聯(lián)網(wǎng)的普及、人工智能的應(yīng)用，越來越多的問題能很快得到答案。那么，我們的問題是否會越來越少？

以上材料引發(fā)了你怎樣的聯(lián)想和思考？請寫一篇文章。

要求：選準(zhǔn)角度，確定立意，明確文體，自擬標(biāo)題；不要套作，不得抄襲；不得泄露個人信息；不少于800字。

從豆包的作答上來看，是已經(jīng)擺脫了AI寫作文經(jīng)常犯的“首先-其次-以及-最后”這種模板式的寫法，也擅長引經(jīng)據(jù)典來做論證。

但畢竟每個人對于文筆的審美標(biāo)準(zhǔn)不同，因此豆包高考作文寫得如何，評價就交給你們了（歡迎在留言區(qū)討論）。

值得一提的是，在量子位向豆包團隊詢問后得知，原來豆包PC端對話和手機端“拍題答疑”是兩種截然不同的招式——

前者走的是LLM鏈路，后者走的則是RAG鏈路（若是用豆包手機端“拍題答疑”功能，高考數(shù)理化成績也能接近滿分）。

加上在這次“高考大摸底”評測出爐之后，很多網(wǎng)友們都將關(guān)注的重點聚焦到了數(shù)學(xué)成績上：

AI也怕數(shù)學(xué)。

因此，接下來的實際效果測試，我們就將以“LLM鏈路+數(shù)學(xué)”的方式來展開。

先拿這次的選擇題來小試牛刀一下：

當(dāng)我們把題目在PC端“喂”豆包之后，它的作答如下：

因此，豆包給出的答案是：

A、C、D、D、B、B、A、A

這里我們再來引入排名第一選手GPT-4o的作答：

A、D、B、D、C、A、C、B

而根據(jù)網(wǎng)上目前多個信源得到的標(biāo)準(zhǔn)答案是：A、C、D、A、B、B、C、B。

對比來看，豆包對5道，GPT-4o答對4道。

而對于更多的數(shù)學(xué)題的作答，其實復(fù)旦大學(xué)自然語言處理實驗室在高考試卷曝光后第一時間做了更加全面的測試（所有大模型只能依靠LLM推理答題，不能通過RAG檢索答案）：

由此可見，大模型并不能完全hold住高考數(shù)學(xué)題目，并且不同人生成答案的結(jié)果也會出現(xiàn)偏差。

并且量子位在反復(fù)測試后發(fā)現(xiàn)，豆包對話答題時有一定隨機性，多輪測試時的結(jié)果并不完全一樣。上文只取樣其中一輪的結(jié)果。

這也正如廣大網(wǎng)友所反饋的那般——大模型文科強、理科弱。

對此，技術(shù)圈也已經(jīng)有一些討論和解釋：

大語言模型的基本原理是“文字接龍”，通過預(yù)測下一個token來生成內(nèi)容，每次預(yù)測都有隨機性和概率分布。

當(dāng)大語言模型學(xué)習(xí)了海量知識數(shù)據(jù)，天然就適應(yīng)考驗記憶能力和語言運用的文科考試。

但理科考試主要考驗推理和計算，比如一道數(shù)學(xué)題包含5步推理和5步計算，假設(shè)大語言模型每一步預(yù)測準(zhǔn)確的概率都有90%，綜合下來的準(zhǔn)確率就只有35%。

另一方面，理科語料比較稀缺。大模型的訓(xùn)練數(shù)據(jù)中，文科語料要遠遠大于理科語料。這也是大模型更擅長文科的一個原因。

大模型都在努力提升智能水平，主要目標(biāo)就是提高推理和計算能力。目前學(xué)界對此存在爭議，有觀點認為，“預(yù)測下一個token”本身就包含了推理，計算也是一種推理。

只要Scaling Law生效，大模型性能持續(xù)提升，推理和計算能力就能夠提升；但也有反對者（如Yann LeCun）認為，大語言模型缺乏真正的規(guī)劃推理能力，其涌現(xiàn)能力實際上是上下文學(xué)習(xí)的結(jié)果，主要體現(xiàn)在簡單任務(wù)和事先知道答案的情境中。大語言模型未來是否能夠真正實現(xiàn)AGI，目前還沒有定論。

那是不是大模型就不適合用戶來解數(shù)學(xué)題了呢？

也并不全是。

正如剛才所說，如果用豆包手機端的“拍題答疑”，也就是RAG鏈路的方式，那么結(jié)果的“打開方式”就截然不同了。

我們可以先用豆包APP對著題目拍照，讓它先進行識別：

結(jié)果就是——全對！

至于更多類型題目大模型們的表現(xiàn)會如何，友友們可以拿著感興趣的題目自行測試一番了。

如何評價？

從“高考大摸底”和智源FlagEval、上海AI Lab OpenCompass等評測上可以看到，豆包大模型已經(jīng)穩(wěn)穩(wěn)進入國產(chǎn)第一梯隊。

但隨即而來的一個問題便是，過去一年多異常低調(diào)的豆包，是如何在短短一個月內(nèi)就開始爆發(fā)的？

其實早在發(fā)布之際，豆包與其它大模型廠商截然不同的路徑就已經(jīng)有所體現(xiàn)，歸結(jié)其背后的邏輯就是：

只有最大的使用量，才能打磨出最好的大模型。

據(jù)了解，豆包大模型在5月15日正式發(fā)布時，其每天平均處理的token數(shù)量高達1200億，相當(dāng)于1800億的漢字；每天生成圖片的數(shù)量為3000萬張。

不僅如此，豆包大模型家族還會在包括抖音、今日頭條等在內(nèi)的50多個場景中進行實踐和驗證。

因此，我們可以把豆包在大模型性能上的路數(shù)，視為用“左手使用量，右手多場景”的方式反復(fù)打磨而來。

一言蔽之，大模型好不好，用一下就知道了。

并且基于豆包大模型打造的同名產(chǎn)品豆包APP，已成為國內(nèi)最受歡迎的AIGC類應(yīng)用。

這一點上，從量子位智庫所匯總的智能助手“APP下載總量”和“APP月新增下載總量”便可一目了然——

豆包，均拿下第一。

不僅如此，在前不久國產(chǎn)大模型To B市場打響價格戰(zhàn)之際，火山引擎也是相當(dāng)“壕氣”讓大模型進入“厘時代”，1元=1250000tokens。

因此，現(xiàn)在要如何評價字節(jié)跳動的大模型和應(yīng)用，或許就是：

• 多：場景多，數(shù)據(jù)多
• 好：各路評測都能hold住
• ?。菏菦_在價格戰(zhàn)頭部的選手

但也正如我們剛才所述，現(xiàn)在的大模型還有很大的“進化”空間。

因此對于國產(chǎn)大模型在未來的發(fā)展，我們還需保持持續(xù)的關(guān)注；但毋庸置疑的一點是，字節(jié)的大模型和豆包，定然是最值得期待的其中一個。

參考鏈接：
[1]https://mp.weixin.qq.com/s/2IueZaiCuyVp97DT-bP4Ow
[2]https://flageval.baai.ac.cn/#/leaderboard/nlp-capability?kind=CHAT
[3]https://rank.opencompass.org.cn/leaderboard-llm/?m=24-05
[4]https://mp.weixin.qq.com/s/KYEsTA-qU72pXWnr7-iB4A