谷歌發(fā)現(xiàn)大模型「領悟」現(xiàn)象！訓練久了突然不再死記硬背，多么痛的領悟

蕭簫 2023-08-12 17:05:53 來源：量子位

蕭簫 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

哪怕只有幾十個神經(jīng)元，AI也能出現(xiàn)泛化能力！

這是幾個谷歌科學家在搞正經(jīng)研究時，“不經(jīng)意間”發(fā)現(xiàn)的新成果。

他們給一些很簡單的AI模型“照了個X光”——將它們的訓練過程可視化后，發(fā)現(xiàn)了有意思的現(xiàn)象：

隨著訓練時間增加，一些AI會從“死記硬背”的狀態(tài)中脫離出來，進化出“領悟力”（grokking），對沒見過的數(shù)據(jù)表現(xiàn)出概括能力。

這正是AI掌握泛化能力的關鍵。

基于此，幾位科學家專門寫了個博客，探討了其中的原理，并表示他們會繼續(xù)研究，試圖弄清楚大模型突然出現(xiàn)強理解力的真正原因。

一起來看看。

并非所有AI都能學會“領悟”

科學家們先探討了AI出現(xiàn)“領悟力”（grokking）的過程和契機，發(fā)現(xiàn)了兩個現(xiàn)象：

• 一、雖然訓練時loss會突然下降，但“領悟”并不是突然發(fā)生的，它是一個平滑的變化過程。
• 二、并非所有AI都能學會“領悟”。

先來看第一個結論。他們設計了一個單層MLP，訓練它完成“數(shù)奇數(shù)”任務。

“數(shù)奇數(shù)”任務，指識別一串長達30位“0”“1”序列中的前3位是否有奇數(shù)個“1”。例如，在
000110010110001010111001001011中，前3位沒有奇數(shù)個1；010110010110001010111001001011中，前3位有奇數(shù)個1。

在訓練前期階段，模型中各神經(jīng)元的權重（下圖中的熱圖）是雜亂無章的，因為AI不知道完成這一任務只需要看前3個數(shù)字。

但經(jīng)過一段時間的訓練后，AI突然“領悟了”，學會了只看序列中的前3個數(shù)字。具體到模型中，表現(xiàn)為只剩下幾個權重會隨著輸入發(fā)生變化：

這個訓練過程的目標被稱之為最小化損失（提升模型輸出準確率），采用的技術則被稱之為權重衰減（防止模型過擬合）。

訓練過程中，有一些權重與任務的“干擾數(shù)字”（30位序列的后27位）相關，下圖可視化為灰色；有一些則與完成任務的“前3位數(shù)字”有關，下圖可視化為綠色。

當最后一個灰色權重降到接近0，模型就會出現(xiàn)“領悟力”，顯然這個過程不是突然發(fā)生的。

再來看第二個結論。不是所有AI模型都能學會“領悟”。

科學家們訓練了1125個模型，其中模型之間的超參數(shù)不同，每組超參數(shù)訓練9個模型。

最后歸納出4類模型，只有2類模型會出現(xiàn)“領悟力”。

如下圖，“白色”和“灰色”代表學不會“領悟”的AI模型，“黃色”和“藍色”代表能“領悟”的AI模型。

總結概括規(guī)律就是，一旦權重衰減、模型大小、數(shù)據(jù)量和超參數(shù)的設置不合適，AI的“領悟力”就有可能消失——

以權重衰減為例。如果權重衰減太小，會導致模型過擬合；權重衰減太大，又會導致模型學不到任何東西。

嗯，調參是門技術活……

了解現(xiàn)象之后，還需要探明背后的原因。

接下來，科學家們又設計了兩個小AI模型，用它來探索模型出現(xiàn)“領悟力”、最終掌握泛化能力出現(xiàn)的機制。

更大的模型學會泛化的機制

科學家們分別設計了一個24個神經(jīng)元的單層MLP和一個5個神經(jīng)元的單層MLP，訓練它們學會做模加法（modular addition）任務。

模加法，指(a + b) mod n。輸入整數(shù)a和b，用它們的和減去模數(shù)n，直到獲得一個比n小的整數(shù)，確保輸出位于0~(n-1)之間。

顯然，這個任務的輸出是周期性的，答案一定位于0~66之間。

首先，給只有5個神經(jīng)元的單層MLP一點“提示”，設置權重時就加入周期性（sin、cos函數(shù)）。

在人為幫助下，模型在訓練時擬合得很好，很快學會了模加法。

然后，試著“從頭訓練”具有24個神經(jīng)元的單層MLP，不特別設置任何權重。

可以看到，訓練前期，這只MLP模型的權重（下面的熱圖）變化還是雜亂無章的：

然而到達某個訓練階段后，模型權重變化會變得非常規(guī)律，甚至隨著輸入改變，呈現(xiàn)出某種周期性變化：

如果將單個神經(jīng)元的權重拎出來看，隨著訓練步數(shù)的增加，這種變化更加明顯：

這也是AI從死記硬背轉變?yōu)榫哂蟹夯芰Φ年P鍵現(xiàn)象：神經(jīng)元權重隨著輸入出現(xiàn)周期性變化，意味著模型自己找到并學會了某種數(shù)學結構（sin、cos函數(shù)）。

這里面的頻率（freq）不是固定的一個值，而是有好幾個。

之所以會用到多個頻率（freq），是因為24個神經(jīng)元的單層MLP還自己學會了使用相長干涉（constructive interference），避免出現(xiàn)過擬合的情況。

不同的頻率組合，都能達到讓AI“領悟”的效果：

用離散傅里葉變換（DFT）對頻率進行隔離，可以發(fā)現(xiàn)和“數(shù)奇數(shù)”類似的現(xiàn)象，核心只有幾個權重起作用：

總結來看，就像前面提到的“數(shù)奇數(shù)”任務一樣，“模加法”實驗表明，參數(shù)量更大的AI也能在這個任務中學會“領悟”，而這個過程同樣用到了權重衰減。

從5個神經(jīng)元到24個神經(jīng)元，科學家們成功探索了更大的AI能學習“領悟”的機制。

接下來，他們還計劃將這種思路套用到更大的模型中，以至于最后能歸納出大模型具備強理解力的原因。

不僅如此，這一成果還有助于自動發(fā)現(xiàn)神經(jīng)網(wǎng)絡學習算法，最終讓AI自己設計AI。

團隊介紹

撰寫博客的作者來自谷歌的People + AI Research（PAIR）團隊。

這是谷歌的一個多學科團隊，致力于通過基礎研究、構建工具、創(chuàng)建框架等方法，來研究AI的公平性、可靠性等。

一句話總結就是，讓“AI更好地造福于人”。

博客地址：
https://pair.withgoogle.com/explorables/grokking/