8B模型奧數(shù)成績(jī)比肩GPT-4！上海AI Lab出品

克雷西 2024-06-18 14:48:00 來(lái)源：量子位

克雷西 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

只要1/200的參數(shù)，就能讓大模型擁有和GPT-4一樣的數(shù)學(xué)能力？

來(lái)自復(fù)旦和上海AI實(shí)驗(yàn)室的研究團(tuán)隊(duì)，剛剛研發(fā)出了具有超強(qiáng)數(shù)學(xué)能力的模型。

它以Llama 3為基礎(chǔ)，參數(shù)量只有8B，卻在奧賽級(jí)別的題目上取得了比肩GPT-4的準(zhǔn)確率。

這款模型名為MCTSr，是將AlphaGo中用到的蒙特卡洛算法與Llama3結(jié)合而成。

它能用少量的數(shù)據(jù)實(shí)現(xiàn)和GPT-4等的相同效果，讓網(wǎng)友感嘆Q*成真了，小模型在數(shù)學(xué)上也能做的和GPT-4等著名模型一樣好。

就此又有網(wǎng)友表示，MCTSr能用極少的參數(shù)實(shí)現(xiàn)相同的效果，加上有時(shí)候訓(xùn)練收益隨規(guī)模遞減，表明架構(gòu)才是當(dāng)前AI的瓶頸，而不是運(yùn)算。

這樣的趨勢(shì)也讓人想起了AI算力霸主英偉達(dá)，開(kāi)始思考規(guī)模化是不是不那么重要了，會(huì)不會(huì)利空老黃呢？

所以，MCTSr具體運(yùn)用了什么樣的方法呢？

將蒙特卡洛引入大模型

MCTSr名字里是MCT，指的就是蒙特卡洛樹(shù)（Monte Carlo Tree），而Sr則指的是自我完善（Self-Refine）。

蒙特卡洛樹(shù)又稱(chēng)隨機(jī)抽樣或統(tǒng)計(jì)試驗(yàn)方法，是指一種使用重復(fù)隨機(jī)采樣生成合成模擬數(shù)據(jù)的近似方法，谷歌的圍棋機(jī)器人AlphaGo當(dāng)中也用到了這種方法。

名字中沒(méi)有體現(xiàn)的，是蒙特卡洛與大模型的結(jié)合，本項(xiàng)目當(dāng)中使用的是Llama 3-8B，同時(shí)MCTSr還引入了自我修正和自我評(píng)估的迭代過(guò)程。

在解答數(shù)學(xué)問(wèn)題時(shí)，MCTSr中的大模型首先會(huì)像正常流程一樣生成初步答案（甚至可以是“我不知道”），但并不會(huì)直接作為輸出。

為了改進(jìn)這個(gè)初始答案，MCTSr算法會(huì)對(duì)其進(jìn)行評(píng)估和反饋，語(yǔ)言模型會(huì)被要求對(duì)答案進(jìn)行評(píng)價(jià)和批評(píng)，分析其中可能存在的問(wèn)題。

然后大模型基于反饋進(jìn)行自我修正，產(chǎn)生一個(gè)新的答案，這個(gè)新版本會(huì)納入搜索樹(shù)中，成為一個(gè)新的子節(jié)點(diǎn)。

針對(duì)多個(gè)子節(jié)點(diǎn)，系統(tǒng)會(huì)進(jìn)行評(píng)分和獎(jiǎng)勵(lì)采樣，計(jì)算出該節(jié)點(diǎn)的“Q值”（a表示答案節(jié)點(diǎn)，Ra表示a的獎(jiǎng)勵(lì)樣本集合，|Ra|表示樣本數(shù)量），可以看出Q值的計(jì)算綜合考慮了節(jié)點(diǎn)在最壞情況和平均情況下的表現(xiàn)。

為了提高評(píng)估的可靠性，系統(tǒng)采用了嚴(yán)格的打分標(biāo)準(zhǔn)，并會(huì)進(jìn)行重復(fù)采樣，同時(shí)還采取了禁止模型給出滿(mǎn)分等策略。

然后基于Q值，MCTSr會(huì)使用改進(jìn)的UCB公式計(jì)算每個(gè)葉子節(jié)點(diǎn)的UCT值，選擇UCT值最高的節(jié)點(diǎn)進(jìn)行擴(kuò)展。

（UCB是一種實(shí)現(xiàn)總獎(jiǎng)勵(lì)最大化的方式，UCT是將UCB策略應(yīng)用于樹(shù)形搜索問(wèn)題的一種算法。）

計(jì)算UCT值的目的，是為了平衡了節(jié)點(diǎn)的平均獎(jiǎng)勵(lì)和訪問(wèn)頻率，避免單純追求高Q值導(dǎo)致的效率下降。

此外，作者修正的UCT計(jì)算公式中還引入了動(dòng)態(tài)調(diào)整探索系數(shù)c，以便在搜索過(guò)程中適應(yīng)不同的問(wèn)題復(fù)雜度，并在探索廣度和深度之間做出平衡。

被選中的節(jié)點(diǎn)，會(huì)通過(guò)大模型再次進(jìn)行自我修正，生成新的答案節(jié)點(diǎn)，然后再次進(jìn)行自我評(píng)估并計(jì)算Q值。

新的Q值會(huì)被并反向傳播到其父節(jié)點(diǎn)和祖先節(jié)點(diǎn)，確保了搜索樹(shù)中節(jié)點(diǎn)的質(zhì)量評(píng)估隨著搜索的進(jìn)行而不斷改進(jìn)。

根據(jù)新的Q值和訪問(wèn)次數(shù)，各個(gè)節(jié)點(diǎn)的UCT值也會(huì)被重新計(jì)算。

接著，上述步驟會(huì)被不斷重復(fù)，直到滿(mǎn)足預(yù)設(shè)的終止條件，此時(shí)具有最高Q值的答案節(jié)點(diǎn)被視為問(wèn)題的最優(yōu)解。

總的來(lái)說(shuō)，通過(guò)蒙特卡洛搜索、自我完善與大模型的集合，MCTSr實(shí)現(xiàn)了數(shù)學(xué)問(wèn)題最優(yōu)解的生成。

那么，這種方法的實(shí)際效果究竟如何呢？

成績(jī)不輸GPT-4和Claude-3

在測(cè)試當(dāng)中，作者一共使用了四種模型配置——零樣本思維鏈（CoT），以及1/4/8輪自我優(yōu)化的MCTSr，其中零樣本為對(duì)照組。

測(cè)試數(shù)據(jù)集包括MATH的5個(gè)level，GSM-8K和GSM-Hard，以及一系列奧賽級(jí)別的數(shù)據(jù)集——AIME、Math Odyssey 和OlympiadBench。

先看簡(jiǎn)單一些的GSM和MATH。

從下表中可以看出，隨著自我優(yōu)化輪數(shù)是增多，模型取得的準(zhǔn)確率也在增加，經(jīng)過(guò)8輪之后，在GSM-8K上已經(jīng)達(dá)到了96.66%。

而Gemini（1.5Pro，下同）、Claude-3（Opus，下同）、GPT-4（Turbo，下同）的成績(jī)則分別是94.4、95和97.1，可以看出參數(shù)只有8B的MCTSr和這些先進(jìn)模型不相上下。

同樣在MATH上，無(wú)論是整體還是細(xì)分的五個(gè)難度等級(jí)，成績(jī)隨優(yōu)化輪數(shù)的變化都呈現(xiàn)出了相同趨勢(shì)。

特別是在最困難的Level-5上，8輪后的成績(jī)已經(jīng)接近了對(duì)照組的5倍。

在MATH上，Gemini、Claude-3和GPT-4的成績(jī)分別為67.7、60.1和73.4，相比之下MCTSr略遜一籌，但也和Claude比較接近。

在更加困難的奧賽級(jí)別題目上，自我優(yōu)化給MCTSr帶來(lái)的能力增強(qiáng)也十分顯著。

在Math Odyssey上，MCTSr甚至超過(guò)了Gemini、Claude-3和GPT-4，三者的成績(jī)分別是45、40和49.1。

同時(shí)，在OlympiadBench上，經(jīng)過(guò)8輪優(yōu)化后，MCTSr的成績(jī)是零樣本時(shí)的6.2倍。

值得一提的是，Math Odyssey數(shù)據(jù)集在2024年4月才發(fā)布，其內(nèi)容與Llama 3的預(yù)訓(xùn)練語(yǔ)料重疊度很低。

而在這個(gè)數(shù)據(jù)集上，MCTSr模型的性能從Zero-Shot CoT的17.22%提升到了8-rollouts MCTSr的49.36%。

這一結(jié)果表明，MCTSr在面對(duì)全新的問(wèn)題時(shí)，已經(jīng)顯現(xiàn)出了一定的泛化能力。

目前，MCTSr的代碼已經(jīng)開(kāi)源，感興趣的讀者可以到GitHub當(dāng)中了解。

論文地址：
https://arxiv.org/abs/2406.07394
GitHub：
https://github.com/trotsky1997/MathBlackBox