AI版三個臭皮匠！ChatGPT/Gemini/DeepSeek合體拿下AGI測試最高分

不圓 2025-07-08 16:58:18 來源：量子位

不圓 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

ChatGPT的對話流暢性、Gemini的多模態(tài)能力、DeepSeek的長上下文分析……

能不能讓它們強強聯(lián)合，共同解決問題呢？

那個由Transformer作者之一Llion Jones創(chuàng)立的明星AI公司Sakana AI，提出了新方法AB-MCTS，核心思想是：

最偉大的成就往往源于不同思想的協(xié)作，我們相信這一原則同樣適用于人工智能。

AB-MCTS，全稱為自適應(yīng)分支蒙特卡洛樹搜索（Adaptive Branching Monte Carlo Tree Search），是一種使多個人工智能模型同時處理問題的算法。模型之間交換并完善建議，協(xié)同工作，就像人類團隊一樣。

在具有挑戰(zhàn)性的ARC-AGI-2基準測試中，多LLM AB-MCTS解決的問題比單獨工作的任何單個模型（Single-LLM AB-MCTS）都多。

有幾種情況下，只有不同模型的組合才能得出正確答案。

Sakana AI已將該算法以TreeQuest的名稱開源，鏈接可見文末。

兩種搜索策略

AB-MCTS結(jié)合了兩種不同的搜索策略：它可以完善現(xiàn)有解決方案（深度搜索），也可以嘗試全新的方法（廣度搜索）。

主要的技術(shù)挑戰(zhàn)是將無界分支引入MCTS。

標準MCTS僅選擇并擴展葉節(jié)點（即每個節(jié)點最多被擴展一次），且擴展會添加固定數(shù)量的子節(jié)點。然而，由于在非零溫度下對LLM的每個查詢都可能從相同提示中產(chǎn)生不同的輸出，分支因子理論上無限。

為了充分利用MCTS的無界分支的潛在性能提升，AB-MCTS允許那些已經(jīng)擴展過一次的節(jié)點再次被擴展并進一步分支，并引入GEN節(jié)點來明確表示生成新子節(jié)點的動作。

在AB-MCTS的搜索樹中，每個節(jié)點N均附帶一個GEN子節(jié)點。選中帶有GEN節(jié)點的父節(jié)點時，會從N生成一個新子節(jié)點。

與傳統(tǒng)的MCTS不同，AB-MCTS不會將寬度作為靜態(tài)超參數(shù)固定。

相反，在搜索樹的每個節(jié)點上，AB-MCTS會自適應(yīng)地決定是探索（“變寬”）通過生成新的候選響應(yīng)，還是利用（“變深”）通過改進現(xiàn)有的響應(yīng)，利用外部反饋信號。

在底層，AB-MCTS通過貝葉斯后驗預(yù)測分布估計節(jié)點潛力，并用Thompson采樣選擇動作，以確保每次擴展都以原則性的方式平衡探索和利用。

這種設(shè)計自然地擴展了多次采樣，使AB-MCTS能夠在必要時利用LLMs多樣化且龐大的輸出空間。

在以上基礎(chǔ)上，Sakana AI還提出了兩個變體：AB-MCTS-M和AB-MCTS-A。

簡單地說：

• AB-MCTS-M：更分層。使用混合效應(yīng)模型共享子樹間的統(tǒng)計信息，通過分層貝葉斯推斷平衡全局與局部探索。
• AB-MCTS-A：更輕量。通過CONT節(jié)點顯式分離“生成”與“優(yōu)化”動作，并基于共軛先驗實現(xiàn)高效后驗更新，簡化計算。

其利斷金

對AB-MCTS進行基準測試，結(jié)果顯示，AB-MCTS在各種基準測試和LLMs中始終表現(xiàn)出色，獲得的平均排名最高并優(yōu)于既定基線。

這種持續(xù)的成功源于AB-MCTS獨特的動態(tài)調(diào)整搜索策略的能力，它通過精確平衡探索和利用來適應(yīng)每個問題的不同需求，而基線方法中幾乎缺乏這種適應(yīng)性。

LiveCodeBench和CodeContest

上圖左側(cè)和中部報告了GPT-4o在LiveCodeBench和CodeContest上的成功率與生成預(yù)算的關(guān)系，可以看到，所有方法在計算預(yù)算增加時都表現(xiàn)出性能提升。在這兩個基準測試中，AB-MCTS算法通常優(yōu)于基線方法。

在LiveCodeBench，即使預(yù)算很小，AB-MCTS也開始超越基線方法；在CodeContest，預(yù)算為32及以上時，AB-MCTS表現(xiàn)出優(yōu)于基線的性能。

ARC-AGI

上圖右側(cè)展示了GPT-4o在ARC-AGI這一特別具有挑戰(zhàn)性的基準測試上的性能表現(xiàn)。可以看到，重復(fù)采樣在該設(shè)置中證明是一種強大的基線，這表明對于這項任務(wù)，廣泛的探索非常重要

雖然標準MCTS在預(yù)算增加時只能帶來微小的改進，但AB-MCTS框架實現(xiàn)了與重復(fù)采樣相當?shù)男阅?。這表明AB-MCTS能夠通過在有利時動態(tài)擴展其搜索范圍來有效地探索潛在解。

MLE-Bench

上表展示了使用GPT-4o在MLE-Bench三個競賽中的性能表現(xiàn)。由于MLE-Bench在訓練和評估機器學習模型時需要大量的GPU資源，研究團隊僅使用了GPT-4o，并專注于基線方法和AB-MCTS-M。

結(jié)果顯示，最佳性能的基線方法在不同競賽中有所不同，這再次強調(diào)了不同任務(wù)受益于不同的探索-利用權(quán)衡。

相比之下，AB-MCTS-M在這些任務(wù)中始終表現(xiàn)出色。

這種在不同競賽中的一致成功突顯了AB-MCTS-M在有效適應(yīng)其搜索策略以應(yīng)對不同問題結(jié)構(gòu)方面的內(nèi)在優(yōu)勢。

為了定量分析AB-MCTS如何平衡探索與利用，論文的研究團隊還考察了生成的搜索樹在每個深度的平均深度和平均寬度。

如上圖顯示，與標準MCTS相比，AB-MCTS方法傾向于生成更寬的樹。這是因為AB-MCTS可以從任何現(xiàn)有節(jié)點自適應(yīng)地決定探索更寬（選擇GEN節(jié)點），而標準MCTS則不能。這種機制使得在不同樹深度上能夠進行更靈活的探索。

除了探索寬度的靈活性之外，AB-MCTS在順序優(yōu)化表現(xiàn)優(yōu)異的基準測試中也取得了優(yōu)異的性能，這表明AB-MCTS通過選擇現(xiàn)有子節(jié)點進行優(yōu)化，能夠有效地識別并利用了有潛力的分支。這種自適應(yīng)特性使其能夠結(jié)合探索與利用的優(yōu)勢，在多種基準測試中表現(xiàn)出強大的性能。

為了研究AB-MCTS的擴展特性，使用DeepSeek-V3對ARC-AGI的實驗進行了擴展，將生成預(yù)算增加到512。如上圖所示，隨著預(yù)算從200增加到500，AB-MCTS的性能繼續(xù)顯著提高，而重復(fù)采樣的改進率開始趨于平穩(wěn)。

標準MCTS在增加預(yù)算后也繼續(xù)改進，但與AB-MCTS方法相比，其成功率顯著較低。這種性能差距表明，AB-MCTS在大型計算規(guī)模下更有效地將搜索導向搜索樹中更有希望的分支。

上圖展示了由AB-MCTS-M和標準MCTS生成的搜索樹示例。這些可視化展示了AB-MCTS-M相比標準MCTS具有更強的自適應(yīng)分支特性。

這種自適應(yīng)性表明，AB-MCTS-M在整個搜索過程中靈活地平衡探索與利用，能夠動態(tài)分配預(yù)算以探索多樣化的新候選者（“拓展寬度”）和優(yōu)化有潛力的候選者（“深入挖掘”）。

以上結(jié)果表明，即使考慮到重復(fù)采樣的固有優(yōu)勢，AB-MCTS仍是一種有前景的方法，能夠高效利用生成預(yù)算在各種場景中取得更優(yōu)結(jié)果。

在具有挑戰(zhàn)性的ARC-AGI-2基準測試中，AB-MCTS結(jié)合ChatGPT、Gemini和DeepSeek解決了30%的ARC-AGI-2謎題，而頂尖的獨立模型僅解決了23%。

結(jié)果顯示，有幾種情況下，只有不同模型的組合才能得出正確答案。

自然啟發(fā)與創(chuàng)新之路

上述關(guān)于AB-MCTS的研究并非憑空產(chǎn)生，它基于Sakana AI 2024年在進化模型融合方面的工作，該團隊將重點從“混合以創(chuàng)造”轉(zhuǎn)向“混合以使用”現(xiàn)有的強大AI。

他們是這樣說的：

在Sakana AI，我們始終致力于通過應(yīng)用受自然啟發(fā)的原則（如進化和集體智能）來開創(chuàng)新型AI系統(tǒng)。

他們也確實這樣做了：

不僅僅是2024年的進化合并模型，就在今年5月，Sakana AI還和哥倫比亞大學的科研人員共同開發(fā)了達爾文-哥德爾機（DGM）——這是一個旨在自我進化的AI框架，并非針對固定目標進行優(yōu)化，而是從生物進化與科學發(fā)現(xiàn)中汲取靈感，通過開放式搜索和持續(xù)的自我修改來生成新的解決方案。

而前段時間，有兩位物理學家以生物系統(tǒng)自我組裝的過程為參考，揭示了擴散模型“創(chuàng)造力”的本質(zhì)……

這些發(fā)現(xiàn)和創(chuàng)造都是“自然式啟發(fā)”的體現(xiàn)。

參考鏈接：
[1]https://the-decoder.com/sakana-ais-new-algorithm-lets-large-language-models-work-together-to-solve-complex-problems/
[2]https://x.com/SakanaAILabs/status/1939854145856708910

論文：https://arxiv.org/abs/2503.04412
算法（TreeQuest）: https://github.com/SakanaAI/treequest
ARC-AGI實驗：https://github.com/SakanaAI/ab-mcts-arc2