模型難復(fù)現(xiàn)不一定是作者的錯(cuò)，研究發(fā)現(xiàn)模型架構(gòu)要背鍋丨CVPR 2022

夢(mèng)晨 2022-03-19 13:30:18 來源：量子位

豐色 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

在不同初始化條件下，同一神經(jīng)網(wǎng)絡(luò)經(jīng)過兩次訓(xùn)練可以得到相同的結(jié)果嗎？

CVPR 2022的一篇研究通過將決策邊界?（Decision Boundary）可視化的方法，給出了答案——

有的容易，有的很難。

例如，從下面這張圖來看，研究人員就發(fā)現(xiàn)，ViT比ResNet要更難復(fù)現(xiàn)（兩次訓(xùn)練過后，顯然ViT決策邊界的差異更大）：

研究人員還發(fā)現(xiàn)，模型的可復(fù)現(xiàn)性和模型本身的寬度也有很大關(guān)聯(lián)。

同樣，他們利用這種方法，對(duì)2019年機(jī)器學(xué)習(xí)最重要的理論之一——雙下降?（Double Descent）現(xiàn)象進(jìn)行了可視化，最終也發(fā)現(xiàn)了一些很有意思的現(xiàn)象。

來看看他們具體是怎么做的。

更寬的CNN模型，可復(fù)現(xiàn)性更高

深度學(xué)習(xí)中的決策邊界，可以用來最小化誤差。

簡(jiǎn)單來說，分類器會(huì)通過決策邊界，把線內(nèi)線外的點(diǎn)歸為不同類。

在這項(xiàng)研究中，作者從CIFAR-10訓(xùn)練集中選擇了三幅隨機(jī)圖像，然后使用三次不同的隨機(jī)初始化配置在7種不同架構(gòu)上訓(xùn)練，繪制出各自的決策區(qū)域。

從中我們可以發(fā)現(xiàn)：

左邊三個(gè)和右邊四個(gè)差異很大，也就是說不同架構(gòu)之間的相似性很低。

再進(jìn)一步觀察，左邊的全連接網(wǎng)絡(luò)、ViT和MLP Mixer之間的決策邊界圖又不太一樣，而右邊CNN模型的則很相似。

在CNN模型中，我們還可以觀察到不同隨機(jī)數(shù)種子之間明顯的的重復(fù)性趨勢(shì)，這說明不同初始化配置的模型可以產(chǎn)生一樣的結(jié)果。

作者設(shè)計(jì)了一種更直觀的度量方法來衡量各架構(gòu)的可復(fù)現(xiàn)性得分，結(jié)果確實(shí)驗(yàn)證了我們的直觀感受：

并發(fā)現(xiàn)更寬的CNN模型似乎在其決策區(qū)域具有更高的可復(fù)現(xiàn)性，比如WideRN30。

以及采用殘差連接結(jié)構(gòu)的CNN模型（ResNet和DenseNet ）的可復(fù)現(xiàn)性得分比無(wú)此連接的模型要略高（VGG）。

此外，優(yōu)化器的選擇也會(huì)帶來影響。

在下表中，我們可以看到SAM比標(biāo)準(zhǔn)優(yōu)化器（如SGD和Adam）產(chǎn)生了更多可重復(fù)的決策邊界。

不過對(duì)于MLP Mixer和ViT，SAM的使用不能總是保證模型達(dá)到最高的測(cè)試精度。

有網(wǎng)友表示好奇，如果通過改善模型本身的設(shè)計(jì)，能改變這種現(xiàn)象嗎？

對(duì)此作者回應(yīng)稱，他們已經(jīng)試著調(diào)整過ViT的學(xué)習(xí)率，但得到的結(jié)果仍然比ResNet差。

可視化ResNet-18的雙下降現(xiàn)象

雙下降（Double Descent）是一個(gè)有趣的概念，描述是測(cè)試/訓(xùn)練誤差與模型大小的關(guān)系。

在此之前，大家普遍認(rèn)為參數(shù)太少的模型泛化能力差——因?yàn)榍窋M合；參數(shù)太多的模型泛化能力也差——因?yàn)檫^擬合。

而它證明，兩者的關(guān)系沒有那么簡(jiǎn)單。具體來說：

誤差會(huì)先隨著模型的增大而減小，然后經(jīng)過模型過擬合，誤差又增大，但隨著模型大小或訓(xùn)練時(shí)間的進(jìn)一步增加，誤差又會(huì)再次減小。

作者則繼續(xù)使用決策邊界方法，可視化了ResNet-18的雙下降現(xiàn)象。

他們通過寬度參數(shù)（k：1-64）的改變來增加模型容量。

訓(xùn)練出的兩組模型，其中一組使用無(wú)噪聲標(biāo)簽（label noise）的訓(xùn)練集，另一組則帶有20%的噪聲標(biāo)簽。

最終，在第二組模型中觀察到了明顯的雙下降現(xiàn)象。

對(duì)此作者表示：

線性模型預(yù)測(cè)的模型不穩(wěn)定性也適用于神經(jīng)網(wǎng)絡(luò)，不過這種不穩(wěn)定性表現(xiàn)為決策區(qū)域的大量碎片。

也就說，雙下降現(xiàn)象是由噪聲標(biāo)簽情況下決策區(qū)域的過度碎片引起的。

具體來說，當(dāng)k接近/達(dá)到10?（也就是插值閾值）時(shí)，由于模型此時(shí)擬合了大部分訓(xùn)練數(shù)據(jù)，決策區(qū)域被分割成很多小塊，變得“混亂和破碎”，并不具備可重復(fù)性；此時(shí)模型的分類功能存在明顯的不穩(wěn)定性。

而在模型寬度很窄（k=4）和很寬（k=64）時(shí)，決策區(qū)域碎片較少，有高水平的可重復(fù)性。

為了進(jìn)一步證明該結(jié)果，作者又設(shè)計(jì)了一個(gè)碎片分?jǐn)?shù)計(jì)算方法，最終再次驗(yàn)證上圖的觀察結(jié)果。

模型的可復(fù)現(xiàn)性得分如下：

同樣可以看到，在參數(shù)化不足和過參數(shù)化的情況下，整個(gè)訓(xùn)練過程的可復(fù)現(xiàn)性很高，但在插值閾值處會(huì)出現(xiàn)“故障”。

有趣的是，即使沒有噪聲標(biāo)簽，研究人員發(fā)現(xiàn)他們?cè)O(shè)計(jì)的量化方法也足夠敏感，可以檢測(cè)到可復(fù)現(xiàn)性的細(xì)微下降（上圖藍(lán)線部分）。

目前代碼已經(jīng)開源，要不要來試試你的模型是否容易復(fù)現(xiàn)？

論文地址：

https://arxiv.org/abs/2203.08124

GitHub鏈接：

https://github.com/somepago/dbVi