德國(guó)學(xué)者給CNN潑冷水：圖像分類(lèi)策略太簡(jiǎn)單，提高準(zhǔn)確率全靠調(diào)參

曉查 2019-02-24 16:08:33 來(lái)源：量子位

曉查 發(fā)自 凹非寺

量子位 出品 | 公眾號(hào) QbitAI

上面一堆雜亂無(wú)章的圖片，你能看出是什么嗎？但CNN卻能很輕松地識(shí)別它們。其實(shí)，人與機(jī)器在這方面的差異，恰恰蘊(yùn)含著神經(jīng)網(wǎng)絡(luò)分類(lèi)策略背后簡(jiǎn)單的邏輯。

最近，來(lái)自德國(guó)的一群學(xué)者構(gòu)造了一個(gè)簡(jiǎn)單模型BagNet，就是為了解答上面的疑惑。該模型可以在ImageNet上實(shí)現(xiàn)很高的準(zhǔn)確率，甚至超過(guò)了AlexNet。文章已經(jīng)發(fā)表在ICLR 2019上。

BagNet模型重要的意義在于，它不僅證明ImageNet比我們想象得要容易得多，還能幫助我們構(gòu)建一個(gè)更具解釋性和透明度的圖像分類(lèi)pipeline，從而更好地理解CNN背后的原理。

那么，這個(gè)BagNet是用什么構(gòu)造出來(lái)的，它為何如此簡(jiǎn)單而有神奇？

用古典模型設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)

在深度學(xué)習(xí)出現(xiàn)以前，圖像識(shí)別使用的是一種特別簡(jiǎn)單的方法：定義一組關(guān)鍵視覺(jué)特征（“單詞”），識(shí)別每個(gè)視覺(jué)特征在圖像中存在的頻率（“包”），然后根據(jù)這些數(shù)字對(duì)圖像進(jìn)行分類(lèi)。

舉個(gè)例子，如何分辨人和鳥(niǎo)，我們定義兩個(gè)關(guān)鍵視覺(jué)特征“人眼”和“羽毛”。如果圖像中出現(xiàn)人眼，就把圖像是人的“證據(jù)”+1；如果出現(xiàn)羽毛，就把圖像是鳥(niǎo)的“證據(jù)”+1。

這就是特征包模型，在深度學(xué)習(xí)出現(xiàn)之前，它曾是最先進(jìn)的方法。但是在深度學(xué)習(xí)出現(xiàn)以后，它因?yàn)樾阅懿患延直粧仐墶?/p>

但我們是否能確定今天的CNN與過(guò)去的“特征包”使用了兩種截然不同的決策策略呢？

為了測(cè)試這一點(diǎn)，作者將“特征包”與DNN的高性能結(jié)合起來(lái)。策略如下：

1. 將圖像分割成q×q的小塊；
2. 通過(guò)DNN傳遞patch獲得每個(gè)patch的類(lèi)證據(jù)；
3. 對(duì)所有類(lèi)證據(jù)求和，達(dá)到圖像級(jí)決策。

為了用最簡(jiǎn)單有效的方式實(shí)現(xiàn)這一策略，作者采用標(biāo)準(zhǔn)的ResNet-50架構(gòu)，用1×1卷積替換掉大多數(shù)的3×3卷積。

在這種情況下，最后一個(gè)卷積層中的隱藏單元只能“看到”圖像的一小部分，其感受野遠(yuǎn)小于圖像的整體尺寸。

作者將這種模型結(jié)構(gòu)稱(chēng)之為BagNet-q，其中q代表每個(gè)小塊的尺寸。

當(dāng)q=17時(shí)，BagNet的性能已經(jīng)達(dá)到與AlexNet相同的水平。當(dāng)q=33時(shí)，top5的準(zhǔn)確率能達(dá)到87.6%。在加上額外的超參數(shù)調(diào)整，BagNet還能達(dá)到更高的準(zhǔn)確率。

以上結(jié)果證明：只需使用一組小圖的特征即可解決ImageNet問(wèn)題。對(duì)象形狀或?qū)ο蟛糠种g的關(guān)系等遠(yuǎn)程空間關(guān)系對(duì)分類(lèi)結(jié)果影響不大，完全可以忽略。

可解釋的神經(jīng)網(wǎng)絡(luò)BagNet

因?yàn)锽agNet用到了“特征包”的策略，它的決策也是透明和可解釋的。我們可以查看哪個(gè)圖像特征對(duì)于某個(gè)特定類(lèi)判別的作用最大。

上圖中，最上面的手指圖像被識(shí)別成一種魚(yú)，因?yàn)檫@個(gè)類(lèi)別中的大多數(shù)圖像中，都有漁民用手舉起魚(yú)的畫(huà)面。

同樣，我們還能得到一個(gè)精確定義的熱圖，顯示圖像的哪些部分有助于模型做出判定。

與ResNet-50驚人相似

BagNets的實(shí)驗(yàn)結(jié)果表明，基于局部圖像特征和對(duì)象類(lèi)別之間的弱統(tǒng)計(jì)相關(guān)性，可以在ImageNet上達(dá)到很高的精度。

那么，深度神經(jīng)網(wǎng)絡(luò)最強(qiáng)大的能力是否僅來(lái)自于對(duì)局部特征的處理？

如果這就夠了，為什么像ResNet-50這樣的標(biāo)準(zhǔn)深度神經(jīng)網(wǎng)絡(luò)會(huì)學(xué)到完全不同的東西？

如果豐富的局部圖像特征足以解決圖像分類(lèi)任務(wù)，為什么還要讓ResNet-50了解更復(fù)雜的大尺度關(guān)系？

為了驗(yàn)證現(xiàn)代DNN與特征包模型有著類(lèi)似的策略，作者又用下面的幾種“標(biāo)記”來(lái)測(cè)試BagNet、ResNet、DenseNet和VGG：

1. 決策對(duì)圖像特征的空間改組是不變的（只能在VGG模型上測(cè)試）；
2. 不同圖像部分的修改應(yīng)該是獨(dú)立的（對(duì)總類(lèi)證據(jù)的影響而言）；
3. 標(biāo)準(zhǔn)CNN和BagNets產(chǎn)生的錯(cuò)誤應(yīng)該類(lèi)似；
4. 標(biāo)準(zhǔn)CNN和BagNets應(yīng)該對(duì)類(lèi)似的特征敏感。

經(jīng)過(guò)上面四項(xiàng)實(shí)驗(yàn)，作者發(fā)現(xiàn)CNN和BagNets之間的行為非常相似。上面的實(shí)驗(yàn)證明了BagNets最敏感的圖像部分與CNN基本相同。

實(shí)際上，BagNets的熱圖（靈敏度的空間圖）比DeepLift更好地預(yù)測(cè)了DenseNet-169的靈敏度。

人們繞了一圈后才發(fā)現(xiàn)，原來(lái)這些年的神經(jīng)網(wǎng)絡(luò)和并不比過(guò)去的特征包在策略上高明多少。

當(dāng)然，DNN并不完全類(lèi)似于特征包模型，確實(shí)顯示出一些偏差。特別是，網(wǎng)絡(luò)越深，功能越來(lái)越大，遠(yuǎn)程依賴(lài)性也越來(lái)越大。

因此，更深的神經(jīng)網(wǎng)絡(luò)確實(shí)改善了特征包模型的性能，但作者認(rèn)為其核心分類(lèi)策略并沒(méi)有真正改變。

總結(jié)

總之，這篇論文的結(jié)果表明CNN可能遵循極其簡(jiǎn)單的分類(lèi)策略。更悲觀的說(shuō)，這表明深度神經(jīng)網(wǎng)絡(luò)在過(guò)去幾年的進(jìn)步大部分是通過(guò)調(diào)參取得的，從決策策略上來(lái)說(shuō)，他比古典的特征包模型并沒(méi)有高明太多。

因?yàn)槿狈?duì)DNN的理解使我們無(wú)法發(fā)展出更好的模型和架構(gòu)。而德國(guó)學(xué)者的這篇文章或許對(duì)我們深化深入理解神經(jīng)網(wǎng)絡(luò)有一定的啟發(fā)。