德國學者給CNN潑冷水：圖像分類策略太簡單，提高準確率全靠調(diào)參

曉查 2019-02-24 16:08:33 來源：量子位

曉查 發(fā)自 凹非寺

量子位 出品 | 公眾號 QbitAI

上面一堆雜亂無章的圖片，你能看出是什么嗎？但CNN卻能很輕松地識別它們。其實，人與機器在這方面的差異，恰恰蘊含著神經(jīng)網(wǎng)絡分類策略背后簡單的邏輯。

最近，來自德國的一群學者構(gòu)造了一個簡單模型BagNet，就是為了解答上面的疑惑。該模型可以在ImageNet上實現(xiàn)很高的準確率，甚至超過了AlexNet。文章已經(jīng)發(fā)表在ICLR 2019上。

BagNet模型重要的意義在于，它不僅證明ImageNet比我們想象得要容易得多，還能幫助我們構(gòu)建一個更具解釋性和透明度的圖像分類pipeline，從而更好地理解CNN背后的原理。

那么，這個BagNet是用什么構(gòu)造出來的，它為何如此簡單而有神奇？

用古典模型設計神經(jīng)網(wǎng)絡

在深度學習出現(xiàn)以前，圖像識別使用的是一種特別簡單的方法：定義一組關鍵視覺特征（“單詞”），識別每個視覺特征在圖像中存在的頻率（“包”），然后根據(jù)這些數(shù)字對圖像進行分類。

舉個例子，如何分辨人和鳥，我們定義兩個關鍵視覺特征“人眼”和“羽毛”。如果圖像中出現(xiàn)人眼，就把圖像是人的“證據(jù)”+1；如果出現(xiàn)羽毛，就把圖像是鳥的“證據(jù)”+1。

這就是特征包模型，在深度學習出現(xiàn)之前，它曾是最先進的方法。但是在深度學習出現(xiàn)以后，它因為性能不佳又被拋棄。

但我們是否能確定今天的CNN與過去的“特征包”使用了兩種截然不同的決策策略呢？

為了測試這一點，作者將“特征包”與DNN的高性能結(jié)合起來。策略如下：

1. 將圖像分割成q×q的小塊；
2. 通過DNN傳遞patch獲得每個patch的類證據(jù)；
3. 對所有類證據(jù)求和，達到圖像級決策。

為了用最簡單有效的方式實現(xiàn)這一策略，作者采用標準的ResNet-50架構(gòu)，用1×1卷積替換掉大多數(shù)的3×3卷積。

在這種情況下，最后一個卷積層中的隱藏單元只能“看到”圖像的一小部分，其感受野遠小于圖像的整體尺寸。

作者將這種模型結(jié)構(gòu)稱之為BagNet-q，其中q代表每個小塊的尺寸。

當q=17時，BagNet的性能已經(jīng)達到與AlexNet相同的水平。當q=33時，top5的準確率能達到87.6%。在加上額外的超參數(shù)調(diào)整，BagNet還能達到更高的準確率。

以上結(jié)果證明：只需使用一組小圖的特征即可解決ImageNet問題。對象形狀或?qū)ο蟛糠种g的關系等遠程空間關系對分類結(jié)果影響不大，完全可以忽略。

可解釋的神經(jīng)網(wǎng)絡BagNet

因為BagNet用到了“特征包”的策略，它的決策也是透明和可解釋的。我們可以查看哪個圖像特征對于某個特定類判別的作用最大。

上圖中，最上面的手指圖像被識別成一種魚，因為這個類別中的大多數(shù)圖像中，都有漁民用手舉起魚的畫面。

同樣，我們還能得到一個精確定義的熱圖，顯示圖像的哪些部分有助于模型做出判定。

與ResNet-50驚人相似

BagNets的實驗結(jié)果表明，基于局部圖像特征和對象類別之間的弱統(tǒng)計相關性，可以在ImageNet上達到很高的精度。

那么，深度神經(jīng)網(wǎng)絡最強大的能力是否僅來自于對局部特征的處理？

如果這就夠了，為什么像ResNet-50這樣的標準深度神經(jīng)網(wǎng)絡會學到完全不同的東西？

如果豐富的局部圖像特征足以解決圖像分類任務，為什么還要讓ResNet-50了解更復雜的大尺度關系？

為了驗證現(xiàn)代DNN與特征包模型有著類似的策略，作者又用下面的幾種“標記”來測試BagNet、ResNet、DenseNet和VGG：

1. 決策對圖像特征的空間改組是不變的（只能在VGG模型上測試）；
2. 不同圖像部分的修改應該是獨立的（對總類證據(jù)的影響而言）；
3. 標準CNN和BagNets產(chǎn)生的錯誤應該類似；
4. 標準CNN和BagNets應該對類似的特征敏感。

經(jīng)過上面四項實驗，作者發(fā)現(xiàn)CNN和BagNets之間的行為非常相似。上面的實驗證明了BagNets最敏感的圖像部分與CNN基本相同。

實際上，BagNets的熱圖（靈敏度的空間圖）比DeepLift更好地預測了DenseNet-169的靈敏度。

人們繞了一圈后才發(fā)現(xiàn)，原來這些年的神經(jīng)網(wǎng)絡和并不比過去的特征包在策略上高明多少。

當然，DNN并不完全類似于特征包模型，確實顯示出一些偏差。特別是，網(wǎng)絡越深，功能越來越大，遠程依賴性也越來越大。

因此，更深的神經(jīng)網(wǎng)絡確實改善了特征包模型的性能，但作者認為其核心分類策略并沒有真正改變。

總結(jié)

總之，這篇論文的結(jié)果表明CNN可能遵循極其簡單的分類策略。更悲觀的說，這表明深度神經(jīng)網(wǎng)絡在過去幾年的進步大部分是通過調(diào)參取得的，從決策策略上來說，他比古典的特征包模型并沒有高明太多。

因為缺乏對DNN的理解使我們無法發(fā)展出更好的模型和架構(gòu)。而德國學者的這篇文章或許對我們深化深入理解神經(jīng)網(wǎng)絡有一定的啟發(fā)。