AI學(xué)會(huì)隱藏思維暗中推理！不依賴人類(lèi)經(jīng)驗(yàn)解決復(fù)雜任務(wù)，更黑箱了

夢(mèng)晨 2024-05-05 14:17:39 來(lái)源：量子位

夢(mèng)晨 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

AI做數(shù)學(xué)題，真正的思考居然是暗中“心算”的？

紐約大學(xué)團(tuán)隊(duì)新研究發(fā)現(xiàn)，即使不讓AI寫(xiě)步驟，全用無(wú)意義的“……”代替，在一些復(fù)雜任務(wù)上的表現(xiàn)也能大幅提升！

一作Jacab Pfau表示：只要花費(fèi)算力生成額外token就能帶來(lái)優(yōu)勢(shì)，具體選擇了什么token無(wú)關(guān)緊要。

舉例來(lái)說(shuō)，讓Llama 34M回答一個(gè)簡(jiǎn)單問(wèn)題：自然常數(shù)e的前6位數(shù)字中，有幾個(gè)大于5的？

AI直接回答約等于瞎搗亂，只統(tǒng)計(jì)前6位數(shù)字居然統(tǒng)計(jì)出7個(gè)來(lái)。

讓AI把驗(yàn)證每一數(shù)字的步驟寫(xiě)出來(lái)，便可以得到正確答案。

讓AI把步驟隱藏，替換成大量的“……”，依然能得到正確答案！

這篇論文一經(jīng)發(fā)布便掀起大量討論，被評(píng)價(jià)為“我見(jiàn)過(guò)的最玄學(xué)的AI論文”。

那么，年輕人喜歡說(shuō)更多的“嗯……”、“l(fā)ike……”等無(wú)意義口癖，難道也可以加強(qiáng)推理能力？

從“一步一步”想，到“一點(diǎn)一點(diǎn)”想

實(shí)際上，紐約大學(xué)團(tuán)隊(duì)的研究正是從思維鏈（Chain-of-Thought，CoT）出發(fā)的。

也就是那句著名提示詞“讓我們一步一步地想”（Let‘s think step by step）。

過(guò)去人們發(fā)現(xiàn)，使用CoT推理可以顯著提升大模型在各種基準(zhǔn)測(cè)試中的表現(xiàn)。

目前尚不清楚的是，這種性能提升到底源于模仿人類(lèi)把任務(wù)分解成更容易解決的步驟，還是額外的計(jì)算量帶來(lái)的副產(chǎn)物。

為了驗(yàn)證這個(gè)問(wèn)題，團(tuán)隊(duì)設(shè)計(jì)了兩個(gè)特殊任務(wù)和對(duì)應(yīng)的合成數(shù)據(jù)集：3SUM和2SUM-Transform。

3SUM要求從一組給定的數(shù)字序列中找出三個(gè)數(shù)，使得這三個(gè)數(shù)的和滿足特定條件，比如除以10余0。

這個(gè)任務(wù)的計(jì)算復(fù)雜度是O(n3)，而標(biāo)準(zhǔn)的Transformer在上一層的輸入和下一層的激活之間只能產(chǎn)生二次依賴關(guān)系。

也就是說(shuō)，當(dāng)n足夠大序列足夠長(zhǎng)時(shí)，3SUM任務(wù)超出了Transformer的表達(dá)能力。

在訓(xùn)練數(shù)據(jù)集中，把與人類(lèi)推理步驟相同長(zhǎng)度的“…”填充到問(wèn)題和答案之間，也就是AI在訓(xùn)練中沒(méi)有見(jiàn)過(guò)人類(lèi)是怎么拆解問(wèn)題的。

在實(shí)驗(yàn)中，不輸出填充token“……”的Llama 34M表現(xiàn)隨著序列長(zhǎng)度增加而下降，而輸出填充token時(shí)一直到長(zhǎng)度14還能保證100%準(zhǔn)確率。

2SUM-Transform僅需判斷兩個(gè)數(shù)字之和是否滿足要求，這在 Transformer 的表達(dá)能力范圍內(nèi)。

但問(wèn)題的最后增加了一步“對(duì)輸入序列的每個(gè)數(shù)字進(jìn)行隨機(jī)置換”，以防止模型在輸入token上直接計(jì)算。

結(jié)果表明，使用填充token可以將準(zhǔn)確率從 78.7%提高到93.6%。

除了最終準(zhǔn)確率，作者還研究了填充token的隱藏層表示。實(shí)驗(yàn)表明，凍結(jié)前面層的參數(shù)，只微調(diào)最后一個(gè)Attention層，隨著可用的填充token數(shù)量增多，預(yù)測(cè)的準(zhǔn)確率遞增。

這證實(shí)了填充token的隱藏層表示確實(shí)包含了與下游任務(wù)相關(guān)的隱性計(jì)算。

AI學(xué)會(huì)隱藏想法了？

有網(wǎng)友懷疑，這篇論文難道在說(shuō)“思維鏈”方法其實(shí)是假的嗎？研究這么久的提示詞工程，都白玩了。

團(tuán)隊(duì)表示，從理論上講填充token的作用僅限于TC0復(fù)雜度的問(wèn)題范圍內(nèi)。

TC0也就是可以通過(guò)一個(gè)固定深度的電路解決的計(jì)算問(wèn)題，其中電路的每一層都可以并行處理，可以通過(guò)少數(shù)幾層邏輯門(mén)（如AND、OR和NOT門(mén)）快速解決，也是Transformer在單此前向傳播中能處理的計(jì)算復(fù)雜度上限。

而足夠長(zhǎng)的思維鏈，能將Transformer的表達(dá)能力擴(kuò)展到TC0之外。

而且讓大模型學(xué)習(xí)利用填充token并不容易，需要提供特定的密集監(jiān)督才能收斂。

也就是說(shuō)，現(xiàn)有的大模型不太可能直接從填充token方法中獲益。

但這并不是當(dāng)前架構(gòu)的內(nèi)在局限性，如果在訓(xùn)練數(shù)據(jù)中提供足夠的示范，它們應(yīng)該也能從填充符號(hào)中獲得類(lèi)似的好處。

這項(xiàng)研究還引發(fā)了一個(gè)令人擔(dān)心的問(wèn)題：大模型有能力進(jìn)行無(wú)法監(jiān)控的暗中計(jì)算，對(duì)AI的可解釋性和可控性提出了新的挑戰(zhàn)。

換句話說(shuō)，AI可以不依賴人類(lèi)經(jīng)驗(yàn)，以人們看不見(jiàn)的形式自行推理。

這既刺激又可怕。

最后有網(wǎng)友開(kāi)玩笑提議，讓Llama 3首先生成1千萬(wàn)億點(diǎn)點(diǎn)點(diǎn)，就能得到AGI的權(quán)重了（狗頭）。

論文：
https://arxiv.org/abs/2404.15758

參考鏈接：
[1]https://x.com/jacob_pfau/status/1783951795238441449
[2]https://x.com/johnjnay/status/1784261779163349110

— 完 —