推理大模型1年內(nèi)就會(huì)撞墻，性能無(wú)法再擴(kuò)展幾個(gè)數(shù)量級(jí) | FrontierMath團(tuán)隊(duì)最新研究

衡宇 2025-05-13 15:22:41 來(lái)源：量子位

衡宇 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

一年之內(nèi)，大模型推理訓(xùn)練可能就會(huì)撞墻。

以上結(jié)論來(lái)自Epoch AI。

這是一個(gè)專(zhuān)注于人工智能研究和基準(zhǔn)測(cè)試的非營(yíng)利組織，之前名動(dòng)一時(shí)的FrontierMath基準(zhǔn)測(cè)試（評(píng)估AI模型數(shù)學(xué)推理能力）就出自它家。

與之伴隨而來(lái)的還有另一個(gè)消息：

如果推理模型保持「每3-5個(gè)月都以10倍速度增長(zhǎng)」，那么推理訓(xùn)練所需的算力可能會(huì)大幅收斂。

就像DeepSeek-R1之于OpenAI o1-preview那樣。

看了這個(gè)結(jié)果，有圍觀(guān)網(wǎng)友都著急了：

既然在o3基礎(chǔ)上再scaling非常困難，那為啥咱不探索模塊化架構(gòu)或針對(duì)特定任務(wù)的專(zhuān)用模型呢？
“效率”比“研究過(guò)?！备匾?！

推理訓(xùn)練還有scalable的空間

OpenAI的o1是推理模型的開(kāi)山之作。

和o3、DeepSeek-R1等一樣，它們從傳統(tǒng)的大語(yǔ)言模型發(fā)展而來(lái)，在預(yù)訓(xùn)練階段使用了大量人類(lèi)數(shù)據(jù)進(jìn)行訓(xùn)練，然后在強(qiáng)化學(xué)習(xí)階段（也就是所謂的第二階段），根據(jù)解題的反饋來(lái)改進(jìn)自己的推理能力。

雖然推理模型已經(jīng)成為了很多AI使用者的實(shí)用幫手，但關(guān)于推理訓(xùn)練所需算力的公開(kāi)信息非常少，大概只有以下這些：

• OpenAI表示，與o1相比，訓(xùn)練o3所需的算力提升了10倍——提升部分幾乎都花在了訓(xùn)練階段。
• OpenAI沒(méi)有公開(kāi)o1、o3的具體細(xì)節(jié)，但可以從DeepSeek-R1、微軟Phi-4-reasoning、英偉達(dá)Llama-Nemotron等其它推理模型。它們所需的推理訓(xùn)練階段算力耕地，但可以根據(jù)它們進(jìn)行推演。
• Anthropic的創(chuàng)始人兼CEO Dario Amodei曾針對(duì)推理模型有過(guò)一篇公開(kāi)文章。

然后就沒(méi)有然后了……

根據(jù)現(xiàn)有的信息和資料，Epoch AI進(jìn)行了總結(jié)和分析。

首先，OpenAI公開(kāi)過(guò)這樣一張圖表，上面展示了o3和o1在A(yíng)IME基準(zhǔn)測(cè)試中的表現(xiàn)，以及兩者在推理訓(xùn)練階段可能所需的算力的對(duì)比——

可以看到，終版o3花費(fèi)的算力是o1的10倍。

Epoch AI分析道：“x軸很可能顯示的是推理訓(xùn)練所需算力而不是總算力?！?/p>

Epoch AI羅列了這一猜測(cè)的證據(jù)。

第一，初代o1耗費(fèi)的算力比o3低四個(gè)數(shù)量級(jí)，其在A(yíng)IME上的得分約為25%。

如果x軸表示總計(jì)算量，“不太可能呈現(xiàn)這種情況”。

第二，如果x軸表示的是所需總算力，這張圖意義就不大了。

因?yàn)檫@就意味著OpenAI訓(xùn)練了N個(gè)版本的o1，且預(yù)訓(xùn)練階段非常不完整。

依照Epoch AI的猜測(cè)，如果o3在推理結(jié)算花費(fèi)的算力是o1的10倍，這意味著什么？

由于很多推理模型背后團(tuán)隊(duì)都學(xué)精了，并不公開(kāi)訓(xùn)練方法和過(guò)程，所以只能從現(xiàn)有公開(kāi)資料里去尋找答案。

比如DeepSeek-R1。

Epoch AI此前估算，DeepSeek-R1推理訓(xùn)練中使用的算力約為6e23 FLOP（成本約 100 萬(wàn)美元），需要生成大約 20萬(wàn)億個(gè)tokens——這只有DeepSeek-V3預(yù)訓(xùn)練成本的20%。

雖然只是一種估算，但R1在各個(gè)榜單上的得分和o1非常接近，“因此可以用它來(lái)為o1所需算力設(shè)定一個(gè)baseline”。

比如英偉達(dá)的Llama-Nemotron Ultra，它在各個(gè)基準(zhǔn)上的分?jǐn)?shù)與DeepSeek-R1和o1相當(dāng)。

它是在DeepSeek-R1生成的數(shù)據(jù)上訓(xùn)練的。

公開(kāi)信息顯示，Llama-Nemotron Ultra的推理階段耗時(shí)140000 H100小時(shí)，約等于1e23 FLOP。這甚至低于它的原始基礎(chǔ)模型預(yù)訓(xùn)練成本的1%。

再比如微軟的Phi-4-reasoning。

它是在o3-mini生成的數(shù)據(jù)上訓(xùn)練的。

Phi-4-reasoning在推理階段規(guī)模更小，成本低于1e20 FLOP，可能是預(yù)訓(xùn)練所需算力成本的<0.01%。

值得注意的是，Llama-Nemotron和Phi-4-reasoning都在RL階段之前進(jìn)行了有監(jiān)督微調(diào)。

咱們?cè)賮?lái)看看今年1月DeepSeek-R1發(fā)布后，Anthropic的CEODario Amodei寫(xiě)的一篇文章，這被視為關(guān)于現(xiàn)有推理模型所需算力規(guī)模的最后一點(diǎn)線(xiàn)索：

由于這是新范式，我們目前仍處于規(guī)模拓展的初期階段：所有參與者在第二階段投入的資金量都很少，花費(fèi)從10萬(wàn)美元提高到100萬(wàn)美元就能帶來(lái)巨大收益。
如今，各公司正迅速加快步伐，將第二階段的規(guī)模擴(kuò)大到數(shù)億乃至數(shù)十億美元。
有一點(diǎn)必須重視，那就是我們正處于一個(gè)獨(dú)特的轉(zhuǎn)折點(diǎn)上。

當(dāng)然了，Amodei對(duì)非Anthropic模型所需算力的看法可能只基于自家公司內(nèi)部數(shù)據(jù)。

但可以清晰了解，截至今年1月，他認(rèn)為推理模型的訓(xùn)練成本遠(yuǎn)低于“數(shù)千萬(wàn)美元”，大于1e26 FLOP。

Epoch AI總結(jié)道——

上述的預(yù)估和線(xiàn)索指向一個(gè)事實(shí)，那就是目前最前沿的推理模型，比如o1，甚至o3，它們的推理訓(xùn)練規(guī)模都還沒(méi)見(jiàn)頂，還能繼續(xù)scalable。

但1年內(nèi)可能就撞墻了

換句話(huà)說(shuō)，如果推理訓(xùn)練還沒(méi)見(jiàn)頂，那么推理模型還是有潛力在短期內(nèi)快速實(shí)現(xiàn)能力拓展的。

這就意味著，推理模型還很能打，潛力巨大。

就像OpenAI展示出的下圖，以及DeepSeek-R1論文中的圖2一樣——模型答題準(zhǔn)確率隨著推理訓(xùn)練步驟的增加而大致呈對(duì)數(shù)線(xiàn)性增長(zhǎng)。

這表明，至少在數(shù)學(xué)和編程任務(wù)上，推理模型的性能隨著推理訓(xùn)練的擴(kuò)展而增強(qiáng)，就像預(yù)訓(xùn)練的scaling law一樣。

行文至此處，Epoch AI寫(xiě)下這樣一段話(huà)：

如果推理階段的算力需求見(jiàn)頂，那么其帶來(lái)的增長(zhǎng)率將收斂，大概是每年增長(zhǎng)4倍。
絕不會(huì)像o1推出后4個(gè)月就有了o3那樣，保持幾個(gè)月增長(zhǎng)10倍的態(tài)勢(shì)。

因此，他得出這樣一個(gè)結(jié)論——

如果一個(gè)推理模型的訓(xùn)練階段僅比前沿推理模型低幾個(gè)（比如說(shuō)少于三個(gè)）數(shù)量級(jí)，這種增長(zhǎng)率可能在一、兩年內(nèi)減緩，甚至撞墻。

然鵝，想要擴(kuò)展推理模型并不是那么簡(jiǎn)單的。

單單是數(shù)據(jù)不夠這一項(xiàng)，就可能導(dǎo)致其停滯不前。

大家也都還不清楚，除了數(shù)學(xué)、編程領(lǐng)域，推理訓(xùn)練是否能泛化到其它規(guī)律性沒(méi)那么強(qiáng)的領(lǐng)域。

但可以肯定的是，隨著推理模型的訓(xùn)練越來(lái)越成熟，所有推理模型所需的成本可能都趨同。

雖然研究成本的高低并不影響算力和性能之間的關(guān)系，但如果相關(guān)研究保持“花錢(qián)如流水”的狀態(tài)，那么推理模型可能無(wú)法達(dá)到人們心中預(yù)期的最佳水平。

另一方面，即使所需算力的增長(zhǎng)速度放緩，推理模型也可能持續(xù)進(jìn)化，就像R1那樣。

換句話(huà)說(shuō)，不只有數(shù)據(jù)或算法創(chuàng)新能推動(dòng)推理模型的進(jìn)步，算力大增也是推動(dòng)推理模型進(jìn)步的關(guān)鍵因素。

參考鏈接：
https://epoch.ai/gradient-updates/how-far-can-reasoning-models-scale