何愷明最新一作論文：無(wú)監(jiān)督勝有監(jiān)督，遷移學(xué)習(xí)無(wú)壓力，刷新7項(xiàng)檢測(cè)分割任務(wù)

魚(yú)羊 2019-11-19 13:11:48 來(lái)源：量子位

魚(yú)羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

何愷明的一作論文，又刷新了7項(xiàng)分割檢測(cè)任務(wù)。

這一次，涉及的是無(wú)監(jiān)督表征學(xué)習(xí)。這一方法廣泛應(yīng)用在NLP領(lǐng)域，但尚未在計(jì)算機(jī)視覺(jué)中引起注意。

Facebook AI研究院的何愷明團(tuán)隊(duì)受此啟發(fā)，采用對(duì)比損失（constrative loss）法，即從圖像數(shù)據(jù)中采樣鍵（或令牌），并由經(jīng)過(guò)訓(xùn)練、與字典相匹配的編碼器表征。

新的方法，名叫MoCo（Momentum Contrast）。其預(yù)訓(xùn)練模型經(jīng)過(guò)微調(diào)可以遷移到不同的任務(wù)上。

在ImageNet、CoCo等數(shù)據(jù)集上，MoCo甚至在某些情況下大大超越了監(jiān)督預(yù)訓(xùn)練模型。

研究團(tuán)隊(duì)表示：

這表明，在許多視覺(jué)任務(wù)中，無(wú)監(jiān)督和有監(jiān)督的表征學(xué)習(xí)之間的鴻溝已經(jīng)大大消除。

方法原理

那么，MoCo究竟是怎么實(shí)現(xiàn)的呢？

像查字典一樣的對(duì)比學(xué)習(xí)

對(duì)比學(xué)習(xí)（constrastive learning），可以看做是在訓(xùn)練編碼器來(lái)完成字典查找任務(wù)。

假設(shè)字典中有一個(gè)與編碼查詢（query）相匹配的鍵（key，表示為k+）。對(duì)比損失函數(shù)中，當(dāng)查詢與k+相似，且與所有其他鍵不同時(shí)，函數(shù)值較低。

在這篇論文中，研究人員采用的對(duì)比損失函數(shù)如下：

這是一種無(wú)監(jiān)督目標(biāo)函數(shù)，用來(lái)訓(xùn)練表征查詢和鍵的編碼器網(wǎng)絡(luò)。

動(dòng)量對(duì)比（MoCo）

用一句話來(lái)說(shuō)，對(duì)比學(xué)習(xí)就是一種在高連續(xù)性輸入（如圖像）上構(gòu)建離散字典的方法。

MoCo方法的核心，是將上述字典作為數(shù)據(jù)樣本隊(duì)列來(lái)進(jìn)行維護(hù)，這樣一來(lái)，字典就能重復(fù)使用已編碼的鍵，字典就可以比通常更大，并且可以靈活地、獨(dú)立地設(shè)置為超參數(shù)。

這是一本動(dòng)態(tài)字典，其樣本會(huì)逐漸被替換，但始終代表著所有數(shù)據(jù)的抽樣子集。

其次，需要考慮的是更新編碼器的問(wèn)題。

使用隊(duì)列可以讓字典變大，但也會(huì)讓通過(guò)反向傳播來(lái)更新鍵編碼器這件事變得更困難。

研究人員假設(shè)這種困難是編碼器的快速變化降低了鍵的表征一致性所造成的，于是，他們提出了動(dòng)量更新的方法。

在這個(gè)公式中，只有θq是通過(guò)反向傳播更新的。動(dòng)量更新會(huì)使得θk的演化比θq更加平穩(wěn)。

在實(shí)驗(yàn)中，研究人員還發(fā)現(xiàn)，相對(duì)較大的動(dòng)量（m=0.999）會(huì)比較小的動(dòng)量（m=0.9）要好得多。這表明緩慢演變的鍵編碼器是利用隊(duì)列的關(guān)鍵所在。

從這張圖中，可以看到三種不同對(duì)比損失機(jī)制的不同。

端到端方法，是通過(guò)反向傳播對(duì)計(jì)算查詢和鍵的表征進(jìn)行端到端更新。

Memory bank方法中，鍵的表征是從存儲(chǔ)庫(kù)中提取的。

而MoCo方法則通過(guò)基于動(dòng)量更新的編碼器對(duì)鍵進(jìn)行動(dòng)態(tài)編碼，并維持鍵的隊(duì)列。

實(shí)驗(yàn)結(jié)果

MoCo的表現(xiàn)究竟如何，還是要用數(shù)據(jù)說(shuō)話。

研究團(tuán)隊(duì)在ImageNet-1M和Instagram-1B這兩個(gè)數(shù)據(jù)集上進(jìn)行了測(cè)試。

ImageNet-1M是ImageNet的訓(xùn)練集，包含1000種不同類別的128萬(wàn)張圖片。而Instagram-1B數(shù)據(jù)集則包含10億（940M）Instagram上的公開(kāi)圖像。

在三種不同機(jī)制的對(duì)比中，字典規(guī)模越大，三種方法的表現(xiàn)就越好。

當(dāng)K較小時(shí)，端到端方法的表現(xiàn)與MoCo差不多，但其批處理大小受限，在8個(gè)32GB的V100上，最大的mini-batch僅為1024。并且，即使存儲(chǔ)空間足夠大，由于端到端方法必須滿足線性學(xué)習(xí)率縮放規(guī)則，否則精度會(huì)下降，其增長(zhǎng)趨勢(shì)能否推及到更大規(guī)模是存疑的。

而memory bank的準(zhǔn)確率則始終比MoCo低了2%以上。

在ImageNet上，MoCo表現(xiàn)出色。

并且在針對(duì)不同的任務(wù)進(jìn)行微調(diào)之后，MoCo可以很好地遷移到下游任務(wù)中，表現(xiàn)甚至優(yōu)于有監(jiān)督預(yù)訓(xùn)練模型。

而PASCAL VOC，COCO等其他數(shù)據(jù)集上的7種檢測(cè)/細(xì)分任務(wù)中，MoCo的表現(xiàn)也優(yōu)于其他有監(jiān)督預(yù)訓(xùn)練模型。甚至有十分明顯的提升。

另外，在Instagram語(yǔ)料庫(kù)上進(jìn)行預(yù)訓(xùn)練的MoCo性能始終優(yōu)于在ImageNet上訓(xùn)練的結(jié)果，這表明MoCo非常適合大型的、相對(duì)未整理的數(shù)據(jù)。

Facebook AI研究院的華人們

論文的研究團(tuán)隊(duì)，來(lái)自Facebook AI研究院（FAIR）。

一作何愷明，想必大家都不陌生。作為Mask R-CNN的主要提出者，他曾三次斬獲頂會(huì)最佳論文。

何愷明大神加持，論文的其他幾位作者實(shí)力也不容小覷。

Haoqi Fan，畢業(yè)于卡內(nèi)基梅隆大學(xué)機(jī)器人學(xué)院，是FAIR的研究工程師。研究領(lǐng)域是計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)。有多篇論文入選ICCV、CVPR、AAAI等國(guó)際頂會(huì)。

吳育昕，F(xiàn)AIR研究工程師，本科畢業(yè)于清華大學(xué)，2017年于卡內(nèi)基梅隆大學(xué)獲得計(jì)算機(jī)視覺(jué)碩士學(xué)位。本科期間就曾在谷歌、曠視實(shí)習(xí)。

謝賽寧，本科畢業(yè)于上海交通大學(xué)，18年獲加州大學(xué)圣迭戈分校CS博士學(xué)位?，F(xiàn)在是FAIR的研究科學(xué)家。

另外一位論文作者Ross Girshick，同樣是FAIR的研究科學(xué)家。博士畢業(yè)于芝加哥大學(xué)，曾在UC伯克利擔(dān)任博士后研究員。

傳送門

論文地址：
https://arxiv.org/abs/1911.05722

— 完 —