小模型越級挑戰(zhàn)14倍參數(shù)大模型，谷歌開啟Test-Time端新的Scaling Law
擴展模型測試時計算比擴展參數(shù)可能更有效
西風 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
不必增加模型參數(shù)，計算資源相同，小模型性能超過比它大14倍的模型！
谷歌DeepMind最新研究引發(fā)熱議，甚至有人表示這可能就是OpenAI即將發(fā)布的新模型草莓所用的方法。
研究團隊探究了在大模型推理時進行計算優(yōu)化的方法，根據(jù)給定的prompt難度，動態(tài)地分配測試時（Test-Time）的計算資源。
結果發(fā)現(xiàn)這種方法在一些情況下比單純擴展模型參數(shù)更經(jīng)濟有效。
換句話說，在預訓練階段花費更少的計算資源，而在推理階段花費更多，這種策略可能更好。
推理時用額外計算來改進輸出
這項研究的核心問題是——
在一定計算預算內解決prompt問題，不同的計算策略對于不同問題的有效性有顯著差異。我們應如何評估并選擇最適合當前問題的測試時計算策略？這種策略與僅僅使用一個更大的預訓練模型相比，效果如何？
DeepMind研究團隊探究了兩種主要機制來擴展測試時的計算。
一種是針對基于過程的密集驗證器獎勵模型（PRM）進行搜索。
PRM可以在模型生成答案過程中的每個步驟都提供評分，用于引導搜索算法，動態(tài)調整搜索策略，通過在生成過程中識別錯誤或低效的路徑，幫助避免在這些路徑上浪費計算資源。
另一種方法是在測試時根據(jù)prompt自適應地更新模型的響應分布。
模型不是一次性生成最終答案，而是逐步修改和改進它之前生成的答案，按順序進行修訂。
以下是并行采樣與順序修訂的比較。并行采樣獨立生成N個答案，而順序修訂則是每個答案依賴于前一次生成的結果，逐步修訂。
通過對這兩種策略的研究，團隊發(fā)現(xiàn)不同方法的有效性高度依賴于prompt的難度。
由此，團隊提出了“計算最優(yōu)”擴展策略，根據(jù)prompt難度自適應地分配測試時的計算資源。
他們將問題分為五個難度等級并為每個等級選擇最佳策略。
如下圖左側，可以看到，在修訂場景中，標準的best-of-N方法（生成多個答案后，從中選出最優(yōu)的一個）與計算最優(yōu)擴展相比，它們之間的差距逐漸擴大，使得計算最優(yōu)擴展在使用少4倍的測試計算資源的情況下，能夠超越best-of-N方法。
同樣在PRM搜索環(huán)境中，計算最優(yōu)擴展在初期相比best-of-N有顯著的提升，甚至在一些情況下，以少4倍的計算資源接近或超過best-of-N的表現(xiàn)。
上圖右側比較了在測試階段進行計算最優(yōu)擴展的PaLM 2-S模型與不使用額外測試計算的預訓練模型之間的表現(xiàn)，后者是一個*大14倍的預訓練模型。
研究人員考慮了在兩種模型中都預期會有?? tokens的預訓練和?? tokens的推理?？梢钥吹?，在修訂場景中（右上），當?? << ??時，測試階段的計算通常優(yōu)于額外的預訓練。
然而，隨著推理與預訓練token比率的增加，在簡單問題上測試階段計算仍然是首選。而在較難的問題上，預訓練在這些情況下更為優(yōu)越，研究人員在PRM搜索場景中也觀察到了類似的趨勢。
研究還比較了測試時計算與增加預訓練的效果，在計算量匹配的情況下，對簡單和中等難度的問題，額外的測試時計算通常優(yōu)于增加預訓練。
而對于難度較大的問題，增加預訓練計算更為有效。
總的來說，研究揭示了當前的測試時計算擴展方法可能無法完全替代預訓練的擴展，但已顯示出在某些情況下的優(yōu)勢。
引發(fā)網(wǎng)友熱議
這項研究被網(wǎng)友po出來后，引發(fā)熱議。
有網(wǎng)友甚至表示這解釋了OpenAI“草莓”模型的推理方法。
為什么這么說？
原來就在昨晚半夜，外媒The Information放出消息，爆料OpenAI新模型草莓計劃未來兩周內發(fā)布，推理能力大幅提高，用戶輸入無需額外的提示詞。
草莓沒有一味追求Scaling Law，與其它模型的最大區(qū)別就是會在回答前進行“思考”。
所以草莓響應需要10-20秒。
這位網(wǎng)友猜測，草莓可能就是用了類似谷歌DeepMind這項研究的方法（doge）：
如果你不認同，給個替代推理方法解釋！
解釋就解釋：
本文探討了 best-of-n 采樣和蒙特卡洛樹搜索（MCTS）。
草莓可能是一種具有特殊tokens（例如回溯、規(guī)劃等）的混合深度模型。它可能會通過人類數(shù)據(jù)標注員和來自容易驗證領域（如數(shù)學/編程）的強化學習進行訓練。
論文鏈接：https://arxiv.org/pdf/2408.03314
參考鏈接：
[1]https://x.com/deedydas/status/1833539735853449360
[2]https://x.com/rohanpaul_ai/status/1833648489898594815
— 完 —
量子位 QbitAI · 頭條號簽約
關注我們，第一時間獲知前沿科技動態(tài)
- 多人有聲視頻一體化生成！用百度最新AI生成營銷視頻，現(xiàn)在1.4元/5秒2025-08-22
- 馬斯克一覺醒來，Space X在京開賣了2025-08-21
- 離譜！現(xiàn)在的Agent都卷成100個成團了？3分鐘并行干完5個復雜任務，還能隨時改需求2025-08-18
- 國家級AI創(chuàng)新應用賽事殺瘋了！超200萬元獎金池+全場景賽道，沖線團隊速來2025-08-15
相關閱讀
特朗普赦免谷歌自動駕駛前負責人，他因盜竊商業(yè)機密入獄18個月
2020年8月，萊萬多夫斯基因盜竊商業(yè)機密罪，被判處18個月監(jiān)禁。
