超越Mask-RCNN：這是谷歌大腦的AI，自己寫的目標(biāo)檢測模型

栗子 2019-04-19 19:07:07 來源：量子位

方栗子 發(fā)自 凹非寺

量子位 出品 | 公眾號 QbitAI

這是一只AI生出的小AI。

谷歌大腦的Quoc Le團(tuán)隊(duì)，用神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索 (NAS) ，發(fā)現(xiàn)了一個(gè)目標(biāo)檢測模型。長這樣：

它的準(zhǔn)確率和速度都超過了大前輩Mask-RCNN；也超過了另外兩只行業(yè)精英：FPN和SSD。

模型叫做NAS-FPN。大佬Quoc Le說，它的長相完全在想象之外，十分前衛(wèi)：

AI的腦洞果然和人類不一樣。對比一下，目標(biāo)檢測界的傳統(tǒng)方法FPN?(特征金字塔網(wǎng)絡(luò)) 長這樣：

谷歌大腦說，雖然網(wǎng)絡(luò)架構(gòu)搜索 (NAS) 并不算新穎，但他們用的搜索空間與眾不同。

怎么搜出來？

在NAS-FPN出現(xiàn)之前，地球上最強(qiáng)大的目標(biāo)檢測模型，架構(gòu)都是人類手動(dòng)設(shè)計(jì)的。

NAS是一種自動(dòng)調(diào)參的方法，調(diào)的不是訓(xùn)練超參數(shù)，是網(wǎng)絡(luò)架構(gòu)超參數(shù)：比如網(wǎng)絡(luò)多少層、每層都是什么算子、卷積層里的過濾器大小等等。

它可以在許多許多不同的架構(gòu)里，快速找到性能最好的那一個(gè)。

所以，要把目標(biāo)檢測的常用架構(gòu)FPN?(特征金字塔網(wǎng)絡(luò)) 和NAS結(jié)合起來，發(fā)現(xiàn)那只最厲害的AI。

但問題是搜索空間太大，特征橫跨許多不同的尺度。

于是，團(tuán)隊(duì)基于RetinaNet框架，設(shè)計(jì)了一個(gè)新的搜索空間：

這里，一個(gè)FPN是由許多的“合并單元 (Merging Cells) ”組成的。

是要把輸入的不同尺度/分辨率的特征層，合并到RetinaNet的表征里去。

具體怎樣合并？這是由一個(gè)RNN控制器來決定的，經(jīng)過四個(gè)步驟：

一是，從輸入里任選一個(gè)特征層；

二是，從輸入里再選一個(gè)特征層；

三是，選擇輸出的特征分辨率；

四是，選擇一種二進(jìn)制運(yùn)算，把兩個(gè)特征層 (用上一步選定的分辨率) 合并起來。

第四步有兩種運(yùn)算可選，一種是加和 (sum) ，一種是全局池化 (Global Pooling) 。兩個(gè)都是簡單、高效的運(yùn)算，不會附加任何帶訓(xùn)練的參數(shù)。

一個(gè)Cell就這樣合并出來了，但這只是中間結(jié)果。把它加到剛才的輸入列表里，和其他特征層排在一起。

然后，就可以重新選兩個(gè)特征層，重復(fù)上面的步驟一、二、四，保持分辨率不變。

(團(tuán)隊(duì)說，如果要避免選到相同分辨率的兩個(gè)特征層，就不要用步長8。2和4是比較合適的步長。)

就這樣，不停地生成新的Cell。

停止搜索的時(shí)候，最后生成的5個(gè)Cell，會組成“被選中的FPN”出道。

那么問題來了，搜索什么時(shí)候能停？

不是非要全部搜索完，隨時(shí)都可以退出。反正分辨率是不變的，F(xiàn)PN是可以隨意擴(kuò)展的。

團(tuán)隊(duì)設(shè)定了Early Exit?(提前退出) 機(jī)制，用來權(quán)衡速度和準(zhǔn)確率。

最終發(fā)布NAS-FPN的，是AI跑了8,000步之后，選取最末5個(gè)Cell生成的網(wǎng)絡(luò)。回顧一下：

從原始FPN (下圖a) 開始，它走過的路大概是這樣的：

跑得越久，生成的網(wǎng)絡(luò)就越蜿蜒。

模型怎么樣？

NAS-FPN可以依托于各種骨架：MobileNet，ResNet，AmoebaNet……

團(tuán)隊(duì)選擇的是AmoebaNet骨架。

那么，用COCO test-dev數(shù)據(jù)集，和那些強(qiáng)大的前輩比一比高清大圖檢測效果。

比賽結(jié)果發(fā)布：

NAS-FPN拿到了48.3的AP分，超過了Mask-RCNN，并且用時(shí)更短 (右邊第二列是時(shí)間) 。

另外一場比賽，是移動(dòng)檢測 (320×320) ，NAS-FPN的輕量版本，跑在MobileNet2骨架上：

超過了厲害的前輩SSD輕量版，雖然，還是沒有趕上YOLOv3。

不過，打敗Mask-RCNN已經(jīng)是值得慶祝的成就了。

One More Thing

NAS既然如此高能，應(yīng)該已經(jīng)搜索過很多東西了吧？

谷歌大腦的另一位成員David Ha列出了7種：

1)?基于CNN的圖像分類器，2)?RNN，3)?激活函數(shù)，4)?SGD優(yōu)化器，5)?數(shù)據(jù)擴(kuò)增，6)Transformer，7)?目標(biāo)檢測。

并發(fā)射了直擊靈魂的提問：下一個(gè)被搜的會是什么？

他的同事摘得了最佳答案：NAS啊。

論文傳送門：

https://arxiv.org/pdf/1904.07392.pdf