Scaling Law百度最早提出！OpenAI/Claude受它啟發(fā)，致謝中有Ilya

白交 2024-11-28 09:08:30 來(lái)源：量子位

白小交 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

什么？Scaling Law最早是百度2017年提的？！

Meta研究員翻出經(jīng)典論文：

大多數(shù)人可能不知道，Scaling law原始研究來(lái)自2017年的百度，而非三年后（2020年）的OpenAI。

此研究由吳恩達(dá)主持，來(lái)自百度硅谷人工智能實(shí)驗(yàn)室 (SVAIL) 系統(tǒng)團(tuán)隊(duì)。

他們探討了深度學(xué)習(xí)中訓(xùn)練集大小、計(jì)算規(guī)模和模型精度之間的關(guān)系，并且通過(guò)大規(guī)模實(shí)證研究揭示了深度學(xué)習(xí)泛化誤差和模型大小的縮放規(guī)律，還在圖像和音頻上進(jìn)行了測(cè)試。

只不過(guò)他們使用的是 LSTM，而不是Transformer；也沒(méi)有將他們的發(fā)現(xiàn)命名為「Law」。

再回頭看，其中一位作者Gregory Diamos給自己當(dāng)年在百度的介紹還是LLM Scaling Law Researcher。

又有一網(wǎng)友發(fā)現(xiàn)，OpenAI論文還引用了2019年這位作者Gregory Diamos等人的調(diào)查。但卻不知道他們2017年就有了這么一項(xiàng)工作。

網(wǎng)友們紛紛表示這篇論文非常值得一讀，而且完全被低估。

來(lái)趕緊看看這篇論文。

深度學(xué)習(xí)Scaling是可預(yù)測(cè)的

在深度學(xué)習(xí)領(lǐng)域，隨著模型架構(gòu)的不斷探索、訓(xùn)練數(shù)據(jù)集的不斷增大以及計(jì)算能力的不斷提升，模型的性能也在不斷提高。

然而，對(duì)于訓(xùn)練集大小、計(jì)算規(guī)模和模型精度之間的具體關(guān)系，一直缺乏深入的理解。

本文通過(guò)大規(guī)模的實(shí)證研究，對(duì)多個(gè)機(jī)器學(xué)習(xí)領(lǐng)域（如機(jī)器翻譯、語(yǔ)言建模、圖像分類和語(yǔ)音識(shí)別）進(jìn)行了測(cè)試，發(fā)現(xiàn)了一些規(guī)律：

泛化誤差（模型在新數(shù)據(jù)上的表現(xiàn)誤差）與訓(xùn)練集大小呈現(xiàn)冪律關(guān)系，即隨著訓(xùn)練集的增大，泛化誤差會(huì)以一定的冪次下降。

模型大小與與數(shù)據(jù)大小也存在Scaling（縮放）關(guān)系，通常模型大小的增長(zhǎng)速度比數(shù)據(jù)大小的增長(zhǎng)速度慢。

具體來(lái)說(shuō)，結(jié)合以往工作，團(tuán)隊(duì)將注意力集中在準(zhǔn)確估計(jì)學(xué)習(xí)曲線和模型大小的縮放趨勢(shì)上。

按照一般測(cè)量方法，是選擇最先進(jìn)的SOTA模型，并在訓(xùn)練集的更大子集（碎片）上訓(xùn)練這些模型的 “超參數(shù)縮減 ”版本，以觀察模型的準(zhǔn)確性如何隨著訓(xùn)練集的大小而增長(zhǎng)。

因此針對(duì)這四個(gè)領(lǐng)域，機(jī)器翻譯、語(yǔ)言建模、圖像分類和語(yǔ)音識(shí)別，找到了他們?cè)诖笮蛿?shù)據(jù)集上顯示出 SOTA 泛化誤差的模型架構(gòu)。

這里的 “大型數(shù)據(jù)集 ”是指規(guī)?？梢钥s小 2-3 個(gè)數(shù)量級(jí)，但仍足以進(jìn)行有價(jià)值的模型架構(gòu)研究的訓(xùn)練集。他們?yōu)槟承?ML 領(lǐng)域選擇了一種以上的模型架構(gòu)，以比較它們的擴(kuò)展行為。

機(jī)器翻譯

團(tuán)隊(duì)注意到，隨著訓(xùn)練集規(guī)模的增大，優(yōu)化變得更加困難，而且模型會(huì)出現(xiàn)容量不足的情況，因此經(jīng)驗(yàn)誤差會(huì)偏離冪律趨勢(shì)。

詞語(yǔ)言模型

這一結(jié)果表明，最佳擬合模型隨訓(xùn)練分片大小呈次線性增長(zhǎng)。

字符級(jí)語(yǔ)言模型

為了測(cè)試字符級(jí)語(yǔ)言建模，他們訓(xùn)練了深度為 10 的循環(huán)高速公路網(wǎng)絡(luò)（RHN），結(jié)果發(fā)現(xiàn)該網(wǎng)絡(luò)在十億單詞數(shù)據(jù)集上能達(dá)到最先進(jìn)的（SOTA）準(zhǔn)確率。

圖像分類。

圖像分類同樣呈現(xiàn)出冪律學(xué)習(xí)曲線和模型大小的縮放關(guān)系。并且還表明，在非常小的訓(xùn)練集上，準(zhǔn)確率會(huì)在接近隨機(jī)猜測(cè)的水平上趨于平穩(wěn)。

語(yǔ)音識(shí)別。

團(tuán)隊(duì)訓(xùn)練了一系列跨度較大的模型尺寸，所以針對(duì)每個(gè)訓(xùn)練數(shù)據(jù)大小得出的模型尺寸縮放結(jié)果，其意義不像在語(yǔ)言模型（LMs）或圖像分類中那么明顯。

隨著數(shù)據(jù)量的增加，大多數(shù)模型會(huì)經(jīng)歷冪律泛化改進(jìn)，直至數(shù)據(jù)量接近其有效容量。在這種情況下，參數(shù)為 170 萬(wàn)的模型的準(zhǔn)確率在大約 170 小時(shí)的音頻數(shù)據(jù)時(shí)開(kāi)始趨于平穩(wěn)，而參數(shù)為 600 萬(wàn)的模型在大約 860 小時(shí)的音頻數(shù)據(jù)時(shí)趨于平穩(wěn)（也就是說(shuō)，大約是前者的 5 倍，這與模型尺寸的差異情況類似）。更大的模型（例如，參數(shù)為 8700 萬(wàn)的模型）在更大的數(shù)據(jù)集規(guī)模下，其泛化誤差也更接近最佳擬合趨勢(shì)。

最后對(duì)于這一發(fā)現(xiàn)，他們表示，這些比例關(guān)系對(duì)深度學(xué)習(xí)的研究、實(shí)踐和系統(tǒng)都有重要影響。它們可以幫助模型調(diào)試、設(shè)定準(zhǔn)確度目標(biāo)和數(shù)據(jù)集增長(zhǎng)決策，還可以指導(dǎo)計(jì)算系統(tǒng)設(shè)計(jì)，并強(qiáng)調(diào)持續(xù)計(jì)算擴(kuò)展的重要性。

博客致謝中還有Ilya的名字

此次研究主要是由當(dāng)年吳恩達(dá)主持下，百度硅谷人工智能實(shí)驗(yàn)室 (SVAIL) 系統(tǒng)團(tuán)隊(duì)。

當(dāng)時(shí)的一群合著者們已經(jīng)各自去到各個(gè)機(jī)構(gòu)實(shí)驗(yàn)室、大廠繼續(xù)從事大模型相關(guān)的研究。

在當(dāng)年博客致謝中，還出現(xiàn)了Ilya的名字，感謝他們參與了這一討論。

兩年后，也就是2019年，其中一位作者Gregory Diamos又帶領(lǐng)團(tuán)隊(duì)探討了深度學(xué)習(xí)的計(jì)算挑戰(zhàn)。

后面的OpenAI論文正是引用了這篇論文的調(diào)查討論了Scaling Law。

值得一提的是，Anthropic CEODario Amodei在百度研究院吳恩達(dá)團(tuán)隊(duì)工作過(guò)，他對(duì)Scaling Law的第一印象也是那時(shí)研究語(yǔ)音模型產(chǎn)生的。

Amodei剛開(kāi)始研究語(yǔ)音神經(jīng)網(wǎng)絡(luò)時(shí)有一種“新手撞大運(yùn)”的感覺(jué)，嘗試把模型和數(shù)據(jù)規(guī)模同時(shí)擴(kuò)大，發(fā)現(xiàn)模型性能隨著規(guī)模的增加而不斷提升。

最初，他以為這只是語(yǔ)音識(shí)別系統(tǒng)的特例。但到了2017年，看到GPT-1的結(jié)果后意識(shí)到這種現(xiàn)象在語(yǔ)言模型上同樣適用。

當(dāng)年（2015年）他一作發(fā)表的論文Deep Speech，合著者中這位Sharan Narang正是兩年后這篇論文的主要作者之一。如今后者先后去到了谷歌擔(dān)任PaLM項(xiàng)目TL大模型負(fù)責(zé)人，然后現(xiàn)在是Meta當(dāng)研究員。

如今這一“冷知識(shí)”再次出現(xiàn)在大家的視野，讓不少人回溯并重溫。

這當(dāng)中還有人進(jìn)一步表示：真正的OG論文使用了seq2seq LSTM，并且確定了參數(shù)計(jì)算曲線。

當(dāng)年的一作正是Ilya Sutskever。

參考鏈接：
[1]https://arxiv.org/abs/1512.02595?[2]https://arxiv.org/abs/1909.01736
[3]https://research.baidu.com/Blog/index-view?id=89
[4]https://www.linkedin.com/in/gregory-diamos-1a8b9083/?[5]https://www.linkedin.com/in/dario-amodei-3934934/
[6]https://x.com/jxmnop/status/1861473014673797411?s=46&t=iTysI4vQLQqCNJjSmBODPw