谷歌大腦發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)“牛頓法”：網(wǎng)絡(luò)足夠?qū)?，就簡化成線性模型
曉查 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
來自谷歌大腦的研究者發(fā)現(xiàn)，對于寬神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)動態(tài)可以大大簡化，并且在無限寬度限制條件下，它們由網(wǎng)絡(luò)初始參數(shù)的一階泰勒展開的線性模型所決定。
所謂的無限寬度(infinite width)，指的是完全連接層中的隱藏單元數(shù)，或卷積層中的通道數(shù)量有無窮多。
雖然這些理論結(jié)果只是在無限寬度條件下成立，但谷歌發(fā)現(xiàn)原始網(wǎng)絡(luò)的預(yù)測與線性版本的預(yù)測之間的一致性極好。而且對不同的體系結(jié)構(gòu)、優(yōu)化方法和損失函數(shù)都適用。
隨著網(wǎng)絡(luò)寬度變大，神經(jīng)網(wǎng)絡(luò)可以被其初始化參數(shù)的一階泰勒展開項所取代。 而一階線性模型動態(tài)的梯度下降是可解析的。
我們將這項研究的內(nèi)容簡單介紹如下：
實驗方法
本文采用完全連接、卷積和寬ResNet體系結(jié)構(gòu)，使用足夠小的學(xué)習(xí)速率，用完全和小批（mini-batch）梯度下降來訓(xùn)練模型，對比原始模型和線性模型之間的差異。
最后在CIFAR-10 (馬和飛機(jī))上進(jìn)行二元分類，以及在MNIST和CIFAR-10上進(jìn)行十種分類。
理論原理
在高等數(shù)學(xué)中，有一種叫做“牛頓法”的方程近似解法。當(dāng)所選區(qū)域足夠小，就能用直線代替曲線，即一階泰勒展開求近似解。在神經(jīng)網(wǎng)絡(luò)中，也有這么一種方法。
對于任何神經(jīng)網(wǎng)絡(luò)參數(shù)都可以做泰勒展開，即初始值加無限的多項式形式。當(dāng)網(wǎng)絡(luò)層的寬度趨于無限的時候，只需要展開中的第一個線性項，就成了線性模型。
假設(shè)D是訓(xùn)練集，X和Y分別表示輸入和標(biāo)注。這個完全連接的前饋網(wǎng)絡(luò)有L個隱藏層、寬度為n。
在監(jiān)督學(xué)習(xí)中，通過參數(shù)θ最小化經(jīng)驗損失，它是一個隨時間變化的參數(shù)。f為輸出的logits。
線性化網(wǎng)絡(luò)
我們將神經(jīng)網(wǎng)絡(luò)的輸出做一階泰勒展開：
ωt定義為θt ? θ0，即參數(shù)θ相對于初始值的變化。輸出包含兩個部分，第一項是神經(jīng)網(wǎng)絡(luò)輸出的初始值，在訓(xùn)練過程中不會改變；第二項是訓(xùn)練過程中的改變量。
ωt和ft隨時間的變化滿足以下常微分方程（ODE）：
無限寬度的高斯過程
隨著隱藏層寬度的增加，更加統(tǒng)計學(xué)中的中心極限定理，輸出的分別將趨于高斯分布。
logits f(x)的平均值和標(biāo)準(zhǔn)差滿足以下方程：
結(jié)果討論
當(dāng)寬度無限且數(shù)據(jù)集有限時，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練動態(tài)與線性化的訓(xùn)練動態(tài)相匹配。
在以前的實驗中，選擇足夠?qū)挼木W(wǎng)絡(luò)，能實現(xiàn)神經(jīng)網(wǎng)絡(luò)和較小數(shù)據(jù)集線性化之間較小的誤差。
谷歌研究了如何在在模型寬度度和數(shù)據(jù)集大小在相當(dāng)大的一個取值范圍內(nèi)，讓線性化動態(tài)和真實動態(tài)之間取得一致性。
最終，谷歌考察了測試集上網(wǎng)絡(luò)的預(yù)測輸出和真實輸出之間的均方根誤差( RMSE )。RMSE會隨著時間的推移而增加，直到訓(xùn)練結(jié)束時達(dá)到某個最終值。
我們可以看出，隨著網(wǎng)絡(luò)寬度的增加，二者之間的誤差逐漸減小。對于全連接網(wǎng)絡(luò)來說，這種下降的速率大約為1/N，對于卷積和WRN體系結(jié)構(gòu)來說，則下降的比例更為模糊。
此外，我們還可以看出，誤差隨著數(shù)據(jù)集大小，呈近似線性增長。盡管誤差隨著會數(shù)據(jù)集增加，但可以通過相應(yīng)地增加模型大小來抵消這一點。
相關(guān)閱讀
ICML新研究提出泛化能力評估新指標(biāo)：直接上向量余弦距離就OK，還開源了相關(guān)代碼
研究指出，網(wǎng)絡(luò)的泛化能力，可以通過“層旋轉(zhuǎn)”來評判。
