谷歌大腦發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)“牛頓法”：網(wǎng)絡(luò)足夠?qū)挘秃?jiǎn)化成線性模型
曉查 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
來(lái)自谷歌大腦的研究者發(fā)現(xiàn)，對(duì)于寬神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)動(dòng)態(tài)可以大大簡(jiǎn)化，并且在無(wú)限寬度限制條件下，它們由網(wǎng)絡(luò)初始參數(shù)的一階泰勒展開的線性模型所決定。
所謂的無(wú)限寬度(infinite width)，指的是完全連接層中的隱藏單元數(shù)，或卷積層中的通道數(shù)量有無(wú)窮多。
雖然這些理論結(jié)果只是在無(wú)限寬度條件下成立，但谷歌發(fā)現(xiàn)原始網(wǎng)絡(luò)的預(yù)測(cè)與線性版本的預(yù)測(cè)之間的一致性極好。而且對(duì)不同的體系結(jié)構(gòu)、優(yōu)化方法和損失函數(shù)都適用。
隨著網(wǎng)絡(luò)寬度變大，神經(jīng)網(wǎng)絡(luò)可以被其初始化參數(shù)的一階泰勒展開項(xiàng)所取代。 而一階線性模型動(dòng)態(tài)的梯度下降是可解析的。
我們將這項(xiàng)研究的內(nèi)容簡(jiǎn)單介紹如下：
實(shí)驗(yàn)方法
本文采用完全連接、卷積和寬ResNet體系結(jié)構(gòu)，使用足夠小的學(xué)習(xí)速率，用完全和小批（mini-batch）梯度下降來(lái)訓(xùn)練模型，對(duì)比原始模型和線性模型之間的差異。
最后在CIFAR-10 (馬和飛機(jī))上進(jìn)行二元分類，以及在MNIST和CIFAR-10上進(jìn)行十種分類。
理論原理
在高等數(shù)學(xué)中，有一種叫做“牛頓法”的方程近似解法。當(dāng)所選區(qū)域足夠小，就能用直線代替曲線，即一階泰勒展開求近似解。在神經(jīng)網(wǎng)絡(luò)中，也有這么一種方法。
對(duì)于任何神經(jīng)網(wǎng)絡(luò)參數(shù)都可以做泰勒展開，即初始值加無(wú)限的多項(xiàng)式形式。當(dāng)網(wǎng)絡(luò)層的寬度趨于無(wú)限的時(shí)候，只需要展開中的第一個(gè)線性項(xiàng)，就成了線性模型。
假設(shè)D是訓(xùn)練集，X和Y分別表示輸入和標(biāo)注。這個(gè)完全連接的前饋網(wǎng)絡(luò)有L個(gè)隱藏層、寬度為n。
在監(jiān)督學(xué)習(xí)中，通過(guò)參數(shù)θ最小化經(jīng)驗(yàn)損失，它是一個(gè)隨時(shí)間變化的參數(shù)。f為輸出的logits。
線性化網(wǎng)絡(luò)
我們將神經(jīng)網(wǎng)絡(luò)的輸出做一階泰勒展開：
ωt定義為θt ? θ0，即參數(shù)θ相對(duì)于初始值的變化。輸出包含兩個(gè)部分，第一項(xiàng)是神經(jīng)網(wǎng)絡(luò)輸出的初始值，在訓(xùn)練過(guò)程中不會(huì)改變；第二項(xiàng)是訓(xùn)練過(guò)程中的改變量。
ωt和ft隨時(shí)間的變化滿足以下常微分方程（ODE）：
無(wú)限寬度的高斯過(guò)程
隨著隱藏層寬度的增加，更加統(tǒng)計(jì)學(xué)中的中心極限定理，輸出的分別將趨于高斯分布。
logits f(x)的平均值和標(biāo)準(zhǔn)差滿足以下方程：
結(jié)果討論
當(dāng)寬度無(wú)限且數(shù)據(jù)集有限時(shí)，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練動(dòng)態(tài)與線性化的訓(xùn)練動(dòng)態(tài)相匹配。
在以前的實(shí)驗(yàn)中，選擇足夠?qū)挼木W(wǎng)絡(luò)，能實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)和較小數(shù)據(jù)集線性化之間較小的誤差。
谷歌研究了如何在在模型寬度度和數(shù)據(jù)集大小在相當(dāng)大的一個(gè)取值范圍內(nèi)，讓線性化動(dòng)態(tài)和真實(shí)動(dòng)態(tài)之間取得一致性。
最終，谷歌考察了測(cè)試集上網(wǎng)絡(luò)的預(yù)測(cè)輸出和真實(shí)輸出之間的均方根誤差( RMSE )。RMSE會(huì)隨著時(shí)間的推移而增加，直到訓(xùn)練結(jié)束時(shí)達(dá)到某個(gè)最終值。
我們可以看出，隨著網(wǎng)絡(luò)寬度的增加，二者之間的誤差逐漸減小。對(duì)于全連接網(wǎng)絡(luò)來(lái)說(shuō)，這種下降的速率大約為1/N，對(duì)于卷積和WRN體系結(jié)構(gòu)來(lái)說(shuō)，則下降的比例更為模糊。
此外，我們還可以看出，誤差隨著數(shù)據(jù)集大小，呈近似線性增長(zhǎng)。盡管誤差隨著會(huì)數(shù)據(jù)集增加，但可以通過(guò)相應(yīng)地增加模型大小來(lái)抵消這一點(diǎn)。
相關(guān)閱讀
歷時(shí)八年登上Nature封面：線蟲神經(jīng)網(wǎng)絡(luò)首次完整破解，揭秘大腦功能如何產(chǎn)生
這是了解神經(jīng)元如何相互作用以產(chǎn)生不同行為的重要一步
人機(jī)“心電感應(yīng)”！人類可以預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)的錯(cuò)誤分類 | 論文
人類能猜出來(lái)神經(jīng)網(wǎng)絡(luò)是怎么想的嗎？
建神經(jīng)網(wǎng)絡(luò)模型，哪種優(yōu)化算法更好？35000次測(cè)試告訴你丨圖賓根大學(xué)出品
130種優(yōu)化器，最早追溯到1964年
Nature封面引發(fā)持續(xù)熱議，死亡豬腦恢復(fù)部分功能可實(shí)現(xiàn)永生？官方答疑來(lái)了
人類是不是也可以因?yàn)檫@項(xiàng)技術(shù)實(shí)現(xiàn)永生？科幻電影中的腦移植場(chǎng)景成真了？這個(gè)脫離肉體的大腦是否具有意識(shí)？
