CNN更新?lián)Q代！性能提升算力減半，還即插即用

曉查 安妮 2019-04-16 14:26:20 來(lái)源：量子位

安妮 邊策 發(fā)自 凹非寺

量子位 出品 | 公眾號(hào) QbitAI

傳統(tǒng)的卷積運(yùn)算，要成為過(guò)去時(shí)了。

Facebook和新加坡國(guó)立大學(xué)聯(lián)手提出了新一代替代品：OctConv（Octave Convolution），效果驚艷，用起來(lái)還非常方便。

OctConv就如同卷積神經(jīng)網(wǎng)絡(luò)（CNN）的“壓縮器”。用它替代傳統(tǒng)卷積，能在提升效果的同時(shí)，節(jié)約計(jì)算資源的消耗。

比如說(shuō)一個(gè)經(jīng)典的圖像識(shí)別算法，換掉其中的傳統(tǒng)卷積，在ImageNet上的識(shí)別精度能獲得1.2%的提升，同時(shí)，只需要82%的算力和91%的存儲(chǔ)空間。

如果對(duì)精度沒(méi)有那么高的要求，和原來(lái)持平滿足了的話，只需要一半的浮點(diǎn)運(yùn)算能力就夠了。

想實(shí)現(xiàn)這樣的提升，怕不是要把神經(jīng)網(wǎng)絡(luò)改個(gè)天翻地覆吧？

根本不需要，OctConv即插即用，無(wú)需修改原來(lái)的網(wǎng)絡(luò)架構(gòu)，也不用調(diào)整超參數(shù)，方便到家。

就是這個(gè)新一代的卷積，讓GAN的主要?jiǎng)?chuàng)造者、AI大牛Ian Goodfellow迫不及待，不僅轉(zhuǎn)發(fā)力薦，還表示要持續(xù)關(guān)注進(jìn)展，開(kāi)源時(shí)再發(fā)推告訴大家。

OctConv也獲得了眾網(wǎng)友的認(rèn)可。短短5個(gè)小時(shí)，Goodfellow的推文就收獲了700贊，網(wǎng)友直呼“Excellent work!”

所以，OctConv到底是什么神仙網(wǎng)絡(luò)？

算力↓↓，準(zhǔn)確率↑↑

我們先來(lái)看看它效果究竟如何。

比如說(shuō)經(jīng)典的圖像識(shí)別算法：ResNet-50，換了新的卷積運(yùn)算會(huì)帶來(lái)什么變化？

上圖中粉紅色的折線就是不同參數(shù)配置的OctConv對(duì)ResNet-50的影響。左起第二個(gè)粉紅圓點(diǎn)顯示了一種比較均衡的配置：比原版（最右黑點(diǎn)）略高的精度，所需的浮點(diǎn)算力卻只有原版的一半。

其他折線代表的各種圖像識(shí)別網(wǎng)絡(luò)，小到ResNet-26、DenseNet，大到ResNet-200，在OctConv加持下，都體現(xiàn)出了成績(jī)的提升和算力需求的下降。

調(diào)節(jié)OctConv的參數(shù)α，可以在性能提升和算力節(jié)約之間尋找平衡。

降低算力需求的同時(shí)，OctConv還能夠縮短神經(jīng)網(wǎng)絡(luò)推斷所需的時(shí)間。比如ResNet-50的推斷時(shí)間，就會(huì)隨著參數(shù)α的增大而逐步縮短。保持精度不變，推斷時(shí)間能縮短到74毫秒，也就是原來(lái)的62%。

對(duì)大、中、小型的模型，研究人員們分別測(cè)試了OctConv會(huì)如何影響它們的圖像分類能力。

大型神經(jīng)網(wǎng)絡(luò)ResNet-152用了OctConv后，僅用22.2GFLOP的算力，Top-1分類準(zhǔn)確率就能達(dá)到82.9%。

OctConv的適用范圍也不僅限于圖像識(shí)別。

無(wú)論是2D還是3D的CNN，都能實(shí)現(xiàn)這種提升。論文不僅測(cè)試了ResNet、ResNeXt、DenseNet、MobileNet、SE-Net等2D CNN在ImageNet上的圖像分類能力，還測(cè)試了C2D、I3D等視頻行為識(shí)別算法改用OctConv之后的性能變化。

像壓縮圖像一樣壓縮卷積

OctConv節(jié)約的計(jì)算力，都是從哪兒省出來(lái)的？

對(duì)于普通卷積運(yùn)算，所有輸入和輸出特征映射具有相同的空間分辨率。

實(shí)際上，一張圖片可以分成粗略結(jié)構(gòu)（低頻部分）和邊緣細(xì)節(jié)（高頻）兩個(gè)部分，比如一張企鵝照片能分離出兩個(gè)成分：

企鵝身上毛色相近的部分、背景顏色變化比較緩慢，屬于低頻信息，信息量較少；而兩種毛色交接的部分、企鵝身體邊緣的顏色變化劇烈，屬于高頻信息，信息量較多。

既然這樣，我們完全可以將信息量較少的低頻部分壓縮一下，減少冗余空間。

類似地，卷積層的輸出特征映射和拍攝的照片一樣，也可以被視為不同頻率信息的混合，進(jìn)行相似的處理。

研究人員從圖片的頻率分離和壓縮中受到啟發(fā)。Octave Convolution的思路就是對(duì)卷積網(wǎng)絡(luò)也進(jìn)行類似操作，壓縮低頻部分，分別處理高低頻兩個(gè)部分的數(shù)據(jù)，并在二者之間進(jìn)行信息交換，從而減少卷積運(yùn)算對(duì)存儲(chǔ)和計(jì)算量的消耗。

為了適應(yīng)新的特征表示，文章推廣了傳統(tǒng)卷積，提出了OctConv。Octave是指八音階，在音樂(lè)中降低八音階代表頻率減半。

OctConv中低頻部分張量的大小是0.5h×0.5w，長(zhǎng)寬正好是的高頻部分h×w的一半，從而節(jié)省了張量的存儲(chǔ)空間和計(jì)算量。

雖然OctConv壓縮了低頻部分的信息，但同時(shí)也有效地?cái)U(kuò)大了原始像素空間中的感受野（receptive field），可以提高識(shí)別性能。

實(shí)現(xiàn)過(guò)程

對(duì)于普通的卷積方法，以W表示k×k的卷積核，X和Y分別表示輸入和輸出張量，X和Y的映射關(guān)系為：

(p, q)是X張量中的位置坐標(biāo)，(i, j)表示所取的近鄰范圍。

而OctConv的目標(biāo)是分開(kāi)處理張量中的低頻和高頻部分，同時(shí)實(shí)現(xiàn)的高頻和低頻分量特征表示之間的有效通信。

我們將卷積核分成兩個(gè)分量：

W=[W^H, W^L]

同時(shí)實(shí)現(xiàn)高低頻之間的有效通信。因此，輸出張量也將分成兩個(gè)分量：

Y=[Y^H, Y^L]

Y^H=Y^H→H+Y^L→H，Y^L=Y^L→L+Y^H→L

其中Y^A→B表示從A到B的特征映射后更新的結(jié)果。Y^H→H和Y^L→L是頻率內(nèi)的信息更新，Y^L→H和Y^H→L是頻率間的信息更新。

因此Y^H不僅包含自身的信息處理過(guò)程，還包含從低頻到高頻的映射。

為了計(jì)算這些項(xiàng)，我們將卷積核每個(gè)分量進(jìn)一步分為頻率內(nèi)和頻率間兩個(gè)部分：

W^H=W^H→H+W^L→H，W^L=W^L→L+W^H→L

張量參數(shù)可以用更形象的方式表示：

△OctConv的卷積核

這種形式有些類似于完全平方公式a^2+b^2+ab+ba，兩個(gè)平方項(xiàng)W^H→H、W^L→L是頻率內(nèi)張量，兩個(gè)交叉項(xiàng)是頻率間張量W^L→H、W^H→L

△OctConv的卷積核的“交叉”處理過(guò)程，紅色箭頭表示高低頻之間的信息交換

輸出張量的計(jì)算方式和前面普通卷積的方式相同：

在OctConv中比例α是一個(gè)可以調(diào)節(jié)的參數(shù)，就是前文提到過(guò)的那個(gè)可調(diào)節(jié)參數(shù)。在整個(gè)網(wǎng)絡(luò)內(nèi)部層中令α_in = α_out = α，第一層中α_in = 0，α_out = α，最后一層中α_in = α，α_out = 0。

OctConv的另一個(gè)非常有用的特性是低頻特征映射有較大的感受野。與普通卷積相比，有效地將感受野擴(kuò)大了2倍。這會(huì)進(jìn)一步幫助每個(gè)OctConv層從遠(yuǎn)處捕獲更多的上下文信息，并且有可能提高識(shí)別性能。

華人一作

這篇論文是Facebook聯(lián)合新加坡國(guó)立大學(xué)共同完成的。

其中，Yunpeng Chen、Haoqi Fang、Bing Xu,、Zhicheng Yan、Yannis Kalantidis、Marcus Rohrbach等6人均來(lái)自Facebook AI實(shí)驗(yàn)室。

一作Yunpeng Chen，中文名為陳云鵬，2015年本科畢業(yè)于華中科技大學(xué)，去年開(kāi)始在Facebook實(shí)習(xí)。

陳云鵬現(xiàn)就讀于新加坡國(guó)立大學(xué)博士，師從顏水成和馮佳時(shí)，兩人也均為這篇論文的作者。今年畢業(yè)后，陳云鵬將成為Facebook的一名研究員。

此前作為一作，陳云鵬已有4篇論文被CVPR、NeurIPS、ECCV和IJCAI等頂會(huì)接收，主攻深度學(xué)習(xí)于視覺(jué)交叉領(lǐng)域的研究。

顏水成是新加坡國(guó)立大學(xué)的終身教授的顏水成，現(xiàn)在也是360副總裁、人工智能研究院院長(zhǎng)和首席科學(xué)家。

他主要研究計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)與多媒體分析領(lǐng)域，目前發(fā)表學(xué)術(shù)論文近500篇，被引次數(shù)超2.5萬(wàn)次，曾三次入選全球高引用學(xué)者。目前，顏水成有諸多榮譽(yù)加持，并評(píng)為IEEE Fellow， IAPR Fellow和ACM杰出科學(xué)家等。

馮佳時(shí)現(xiàn)任新加坡國(guó)立大學(xué)電子與計(jì)算機(jī)工程系助理教授，為機(jī)器學(xué)習(xí)與視覺(jué)實(shí)驗(yàn)室負(fù)責(zé)人。

本科在中國(guó)科學(xué)技術(shù)大學(xué)畢業(yè)后，馮佳時(shí)在新加坡國(guó)立大學(xué)讀博，此后又去UC伯克利人工智能實(shí)驗(yàn)室從事博士后研究，研究方向?yàn)閳D像識(shí)別、深度學(xué)習(xí)及面向大數(shù)據(jù)的魯棒機(jī)器學(xué)習(xí)。

傳送門

論文地址：

https://export.arxiv.org/abs/1904.05049

也有網(wǎng)友簡(jiǎn)單復(fù)現(xiàn)了這個(gè)研究：

https://github.com/terrychenism/OctaveConv