8億參數(shù)，刷新ImageNet紀(jì)錄：何愷明團(tuán)隊(duì)開源最強(qiáng)ResNeXt預(yù)訓(xùn)練模型

栗子 2019-06-26 11:31:56 來源：量子位

栗子 發(fā)自 凹非寺

量子位 報道 | 公眾號 QbitAI

來自Facebook何愷明團(tuán)隊(duì)，比以往都強(qiáng)大ResNeXt預(yù)訓(xùn)練模型開源了。

它叫ResNeXt WSL，有超過8億個參數(shù)，用Instagram上面的9.4億張圖做了 (弱監(jiān)督預(yù)訓(xùn)練) ，用ImageNet做了微調(diào)。

注：WSL是弱監(jiān)督學(xué)習(xí)，不是Windows里面的Linux。

ImageNet測試中，它的 (32×48d) 分類準(zhǔn)確率達(dá)到85.4%?(Top-1) ，打破了從前的紀(jì)錄。

LeCun大佬作為公司首席AI科學(xué)家，轉(zhuǎn)推了開源的喜訊，而后眾人奔走相告，贊數(shù)已經(jīng)超過1600。

評論區(qū)涌起了難以置信的聲音：

拿ImageNet做微調(diào)？？我頭一次聽說，在更大的預(yù)訓(xùn)練集面前，ImageNet成了微調(diào)用的小語料庫。9.4億張圖？誰能做完這么多計(jì)算？

所以現(xiàn)在好了，你并不需要做這樣大大大量的計(jì)算，可以直接從預(yù)訓(xùn)練的模型開始。

更好的是，開源的不止這一個模型。

究竟是有多強(qiáng)大

預(yù)警：先交代一下歷史，后面是最新的成績。

ResNeXt，其實(shí)誕生在2016年。

它的前輩是2015年發(fā)表的ResNet (殘差網(wǎng)絡(luò)) ，用“shortcut”這種能跳過一些層的連接方式，解決了梯度消失問題，訓(xùn)練幾百上千層的網(wǎng)絡(luò)不是夢。

ResNet在圖像分類、目標(biāo)檢測、定位、分割等等項(xiàng)目上完勝各路對手，拿下當(dāng)年CVPR最佳論文，震動了學(xué)界和工業(yè)界。

后來，作為ResNet的一個高能進(jìn)化版，ResNeXt在寬度和深度之外，引入了“基數(shù)(Cardinality) ”的概念。在網(wǎng)絡(luò)不加深不加寬的情況下，就能提升準(zhǔn)確率，還能減少超參數(shù)的數(shù)量。

一個101層的ResNeXt，準(zhǔn)確率已媲美200層的ResNet。于是，它也中選了CVPR。

而這一次，ResNeXt WSL系列是在當(dāng)年的基礎(chǔ)上，又探索了弱監(jiān)督?(Weakly Supervised Learning) 的可能性：

Instagram圖片，沒有經(jīng)過特別的標(biāo)注，只帶著用戶自己加的話題標(biāo)簽 (#) ，就當(dāng)做預(yù)訓(xùn)練的數(shù)據(jù)集了。

經(jīng)過9.4億張圖的預(yù)訓(xùn)練，再拿ImageNet去微調(diào)，四個ResNeXt模型的考試成績?nèi)缦拢?/p>

團(tuán)隊(duì)說，比起直接用ImageNet訓(xùn)練，加上弱監(jiān)督的預(yù)訓(xùn)練步驟，分類準(zhǔn)確率有明顯的提升。

其中，32×48d的準(zhǔn)確率 (Top-1) 刷新了ImageNet的紀(jì)錄。

弱監(jiān)督可行，今后AI就可以在更大規(guī)模的數(shù)據(jù)集上訓(xùn)練/預(yù)訓(xùn)練了。

一行代碼可調(diào)用

現(xiàn)在，四個預(yù)訓(xùn)練模型都已經(jīng)開源。加載只需：

import torch
model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x8d_wsl')
# or
# model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x16d_wsl')
# or
# model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x32d_wsl')
# or
#model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x48d_wsl')
model.eval()

說不定你已經(jīng)看出來了，所有模型都已加入不久前剛發(fā)布的PyTorch Hub豪華彩蛋。所以，一小段代碼便可以輕松調(diào)用。

只有一點(diǎn)需要注意：這次開源的模型，要求所有輸入圖像，都用相同的方式歸一化(Normalization) 。

具體示例，可以從文下傳送門前往主頁觀摩。

One More Thing

在這樣雞凍人心的日子里，總有些小伙伴的關(guān)注點(diǎn)和其他人不一樣：

他們用Instagram啊，我以后是不是要把所有的圖都做個對抗樣本，再發(fā)狀態(tài)？(以達(dá)到欺騙AI的目的)

AI啊，你相信我，這真是一只長臂猿。(誤)

ResNeXt主頁：

https://pytorch.org/hub/facebookresearch_WSL-Images_resnext/

GitHub項(xiàng)目：

https://github.com/facebookresearch/WSL-Images/blob/master/hubconf.py

Colab Demo：

https://colab.research.google.com/github/pytorch/pytorch.github.io/blob/master/assets/hub/facebookresearch_WSL-Images_resnext.ipynb

ECCV論文：

https://arxiv.org/abs/1805.00932

—?完?—