超越Mask-RCNN：這是谷歌大腦的AI，自己寫的目標(biāo)檢測模型
方栗子 發(fā)自 凹非寺
量子位 出品 | 公眾號 QbitAI
這是一只AI生出的小AI。
谷歌大腦的Quoc Le團(tuán)隊，用神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索 (NAS) ，發(fā)現(xiàn)了一個目標(biāo)檢測模型。長這樣：
它的準(zhǔn)確率和速度都超過了大前輩Mask-RCNN；也超過了另外兩只行業(yè)精英：FPN和SSD。
模型叫做NAS-FPN。大佬Quoc Le說，它的長相完全在想象之外，十分前衛(wèi)：
△ 喜訊發(fā)布一日，已收獲600顆心
AI的腦洞果然和人類不一樣。對比一下，目標(biāo)檢測界的傳統(tǒng)方法FPN?(特征金字塔網(wǎng)絡(luò)) 長這樣：
谷歌大腦說，雖然網(wǎng)絡(luò)架構(gòu)搜索 (NAS) 并不算新穎，但他們用的搜索空間與眾不同。
怎么搜出來？
在NAS-FPN出現(xiàn)之前，地球上最強(qiáng)大的目標(biāo)檢測模型，架構(gòu)都是人類手動設(shè)計的。
△ 這是Mask-RCNN的成果
NAS是一種自動調(diào)參的方法，調(diào)的不是訓(xùn)練超參數(shù)，是網(wǎng)絡(luò)架構(gòu)超參數(shù)：比如網(wǎng)絡(luò)多少層、每層都是什么算子、卷積層里的過濾器大小等等。
它可以在許多許多不同的架構(gòu)里，快速找到性能最好的那一個。
所以，要把目標(biāo)檢測的常用架構(gòu)FPN?(特征金字塔網(wǎng)絡(luò)) 和NAS結(jié)合起來，發(fā)現(xiàn)那只最厲害的AI。
但問題是搜索空間太大，特征橫跨許多不同的尺度。
于是，團(tuán)隊基于RetinaNet框架，設(shè)計了一個新的搜索空間：
這里，一個FPN是由許多的“合并單元 (Merging Cells) ”組成的。
是要把輸入的不同尺度/分辨率的特征層，合并到RetinaNet的表征里去。
具體怎樣合并？這是由一個RNN控制器來決定的，經(jīng)過四個步驟：
一是，從輸入里任選一個特征層；
二是，從輸入里再選一個特征層；
三是，選擇輸出的特征分辨率；
四是，選擇一種二進(jìn)制運算，把兩個特征層 (用上一步選定的分辨率) 合并起來。
第四步有兩種運算可選，一種是加和 (sum) ，一種是全局池化 (Global Pooling) 。兩個都是簡單、高效的運算，不會附加任何帶訓(xùn)練的參數(shù)。
一個Cell就這樣合并出來了，但這只是中間結(jié)果。把它加到剛才的輸入列表里，和其他特征層排在一起。
然后，就可以重新選兩個特征層，重復(fù)上面的步驟一、二、四，保持分辨率不變。
(團(tuán)隊說，如果要避免選到相同分辨率的兩個特征層，就不要用步長8。2和4是比較合適的步長。)
就這樣，不停地生成新的Cell。
停止搜索的時候，最后生成的5個Cell，會組成“被選中的FPN”出道。
那么問題來了，搜索什么時候能停？
不是非要全部搜索完，隨時都可以退出。反正分辨率是不變的，F(xiàn)PN是可以隨意擴(kuò)展的。
團(tuán)隊設(shè)定了Early Exit?(提前退出) 機(jī)制，用來權(quán)衡速度和準(zhǔn)確率。
最終發(fā)布NAS-FPN的，是AI跑了8,000步之后，選取最末5個Cell生成的網(wǎng)絡(luò)?；仡櫼幌拢?/p>
從原始FPN (下圖a) 開始，它走過的路大概是這樣的：
跑得越久，生成的網(wǎng)絡(luò)就越蜿蜒。
模型怎么樣？
NAS-FPN可以依托于各種骨架：MobileNet，ResNet，AmoebaNet……
團(tuán)隊選擇的是AmoebaNet骨架。
那么，用COCO test-dev數(shù)據(jù)集，和那些強(qiáng)大的前輩比一比高清大圖檢測效果。
比賽結(jié)果發(fā)布：
NAS-FPN拿到了48.3的AP分，超過了Mask-RCNN，并且用時更短 (右邊第二列是時間) 。
另外一場比賽，是移動檢測 (320×320) ，NAS-FPN的輕量版本，跑在MobileNet2骨架上：
超過了厲害的前輩SSD輕量版，雖然，還是沒有趕上YOLOv3。
△ YOLOv3過往成果展
不過，打敗Mask-RCNN已經(jīng)是值得慶祝的成就了。
One More Thing
NAS既然如此高能，應(yīng)該已經(jīng)搜索過很多東西了吧？
谷歌大腦的另一位成員David Ha列出了7種：
1)?基于CNN的圖像分類器，2)?RNN，3)?激活函數(shù)，4)?SGD優(yōu)化器，5)?數(shù)據(jù)擴(kuò)增，6)Transformer，7)?目標(biāo)檢測。
并發(fā)射了直擊靈魂的提問：下一個被搜的會是什么？
他的同事摘得了最佳答案：NAS啊。
△ NAS
論文傳送門：
https://arxiv.org/pdf/1904.07392.pdf
- 馬云正式卸任后，阿里巴巴開盤跌0.87%2019-09-10
- 亞馬遜在華拓展云計算團(tuán)隊，挑戰(zhàn)阿里巴巴和騰訊2019-10-16
- AI獨角獸云知聲，已完成一期科創(chuàng)板IPO輔導(dǎo)2019-10-17
- IDC：今年上半年中國公有云服務(wù)市場規(guī)模達(dá)54.2億美元2019-11-07
相關(guān)閱讀
