用暫停token重新訓(xùn)練大模型，AI學(xué)會(huì)三思而后行
只需增加1024個(gè)參數(shù)
夢(mèng)晨 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
讓ChatGPT給出答案之前多想想步驟，就能提高準(zhǔn)確率。
那么能不能省去提示詞，直接把這種能力內(nèi)化在大模型里呢？
CMU與谷歌團(tuán)隊(duì)的新研究，在訓(xùn)練大模型時(shí)加入暫停token來(lái)實(shí)現(xiàn)這一點(diǎn)。
實(shí)驗(yàn)中，8項(xiàng)評(píng)測(cè)成績(jī)提升，其中SQuAD的EM得分提高18%，CommonSenseQA提高8%，GSM8k中的推理任務(wù)也提高1%。
研究者Jack Hack表示，自己不久前就提出類(lèi)似假設(shè)，很高興看到它被驗(yàn)證。
英偉達(dá)工程師Aaron Erickson表示，是不是和人類(lèi)說(shuō)話(huà)時(shí)加入“嗯嗯啊啊”是一個(gè)道理？
預(yù)訓(xùn)練微調(diào)都加入暫停token
整個(gè)研究基于一個(gè)簡(jiǎn)單的想法：
在輸入序列后面追加一系列（暫停token），從而延遲模型輸出下一個(gè)token。
這可以給模型額外的計(jì)算時(shí)間來(lái)處理更復(fù)雜的輸入。
作者不僅在下游任務(wù)微調(diào)時(shí)引入，還在預(yù)訓(xùn)練時(shí)就隨機(jī)在序列中插入，讓模型在兩階段都學(xué)習(xí)如何利用這種計(jì)算延遲。
預(yù)訓(xùn)練階段，在語(yǔ)料庫(kù)中隨機(jī)插入一定比例的暫停token到輸入序列，進(jìn)行標(biāo)準(zhǔn)的自回歸預(yù)訓(xùn)練。但計(jì)算損失時(shí)會(huì)跳過(guò)暫停token的預(yù)測(cè)。
下游任務(wù)微調(diào)時(shí)，輸入中也追加一定數(shù)量的暫停 token，然后對(duì)目標(biāo)序列進(jìn)行自回歸預(yù)測(cè)，同時(shí)微調(diào)模型參數(shù)。
推理階段也追加相同數(shù)量的暫停token，但忽略模型輸出直到最后一個(gè)暫停token，然后開(kāi)始提取答案。
實(shí)驗(yàn)使用了標(biāo)準(zhǔn)的Transformer純Decoder模型，分為130M參數(shù)和1B參數(shù)兩個(gè)版本。
其中暫停token只增加了1024個(gè)參數(shù)，也就是它本身的embedding大小。
在9個(gè)不同任務(wù)上的實(shí)驗(yàn)表明，僅在微調(diào)階段引入暫停token的效果并不明顯，有些任務(wù)不會(huì)提升。
但如果在預(yù)訓(xùn)練和finetune階段都使用暫停token，大多數(shù)任務(wù)上都獲得顯著提升。
論文還探究了暫停token的數(shù)量、位置等關(guān)鍵超參數(shù)。發(fā)現(xiàn)對(duì)于不同的模型通常存在一個(gè)最優(yōu)的數(shù)量。
最后作者也提出，這項(xiàng)工作也有不少局限性。
- 由于暫停token增加了模型計(jì)算量，與其他方法對(duì)比是否公平還有待討論
- 新方法需要重新預(yù)訓(xùn)練，在實(shí)際應(yīng)用還有一定困難
- 對(duì)具體工作機(jī)制還缺乏深入理解
- 推理時(shí)如果暫停token數(shù)量為0，模型表現(xiàn)仍然不佳
搜索引擎You.com的CEO表示，接下來(lái)是不是應(yīng)該把所有提高人類(lèi)認(rèn)知表現(xiàn)的技巧都對(duì)大模型試一試？
現(xiàn)在已經(jīng)有了“一步一步地想”和“深呼吸”。
也許下一個(gè)爆款論文就是教大模型帶著問(wèn)題睡一覺(jué)或者更離譜的健康飲食、注意鍛煉。
論文地址：
https://arxiv.org/abs/2310.02226
參考鏈接：
[1]https://twitter.com/arankomatsuzaki/status/1709372124891070915
— 完 —
- 馬斯克收購(gòu)OpenAI新計(jì)劃實(shí)錘了：找小扎籌千億美元，果然敵人的敵人就是朋友…2025-08-23
- 標(biāo)準(zhǔn)化3D生成質(zhì)量榜單來(lái)了！首創(chuàng)層次化評(píng)價(jià)體系，告別“誰(shuí)的demo更吸睛”主觀評(píng)估2025-08-16
- 阿里閃電入局Agent Infra！智能體新基建亮相WAIC，“超級(jí)大腦”開(kāi)箱即用2025-07-31
- 世紀(jì)華通謝斐：在“三大平衡”中領(lǐng)跑，實(shí)現(xiàn)游戲行業(yè)更高質(zhì)量的發(fā)展2025-08-01
相關(guān)閱讀
國(guó)內(nèi)首個(gè)通過(guò)主任醫(yī)師評(píng)測(cè)的大模型，已在夸克AI搜索上線(xiàn)
超半數(shù)醫(yī)學(xué)生在使用
