一大波PyTorch圖像分割模型來襲，俄羅斯程序員出品新model zoo
魚羊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
一個新的圖像分割model zoo來啦！
一大波基于PyTorch的圖像分割模型整理好了就等你來用~
這個新集合由俄羅斯的程序員小哥Pavel Yakubovskiy一手打造，包含四種模型架構(gòu)和30種預(yù)訓(xùn)練骨干模型（backbone），官方文檔列舉了四條主要特點：
- 高級API（兩行代碼構(gòu)建神經(jīng)網(wǎng)絡(luò)）
- 4種模型架構(gòu)：Unet，Linknet，F(xiàn)PN，PSPNet
- 每個架構(gòu)有30種可用的編碼器
- 所有編碼器都具有預(yù)先訓(xùn)練的權(quán)重，可實現(xiàn)更快、更好的收斂
授人以魚不如授人以漁，放出了model zoo還不算，小哥還貼心地提供了如何使用CamVid數(shù)據(jù)集進行訓(xùn)練的示例。
效果怎么樣
CamVid數(shù)據(jù)集是計算機視覺領(lǐng)域常用的一個數(shù)據(jù)集，通常用來進行街景分割。
俄羅斯小哥用這個數(shù)據(jù)集訓(xùn)練了一個能識別出圖片中汽車的新模型。無論這輛車是隱藏在暗夜之中還是只有黃豆大小，都逃不出圖像分割模型的手掌心。
構(gòu)建模型時他選擇了傳奇的Unet架構(gòu)，并使用了se_resnext50_32x4d這個預(yù)訓(xùn)練骨干模型。
聽上去好像很厲害的樣子，但群眾都相信眼見為實，不看看模型訓(xùn)練效果如何，心里難免有一丟丟懷疑。
嗯，看來不管是昏天黑地還是目標(biāo)只有一丁點大，新模型的預(yù)測結(jié)果都挺不錯。
再加大難度呢？
量子位表示眼已瞎，模型是真強。
Pavel Yakubovskiy小哥還在Colab上放了用Catalyst（PyTorch上的高級框架）訓(xùn)練模型的代碼，感興趣的話可以直接在瀏覽器上跑一下。
入園指南
model zoo已開源，免票入場，快來圍觀。
先來了解一下都有哪些預(yù)訓(xùn)練模型可以用：
以及它們的權(quán)重：
pip一下：
$ pip install segmentation-models-pytorch
$ pip install git+https://github.com/qubvel/segmentation_models.pytorch
python庫安裝完成，就可以輕松地創(chuàng)建模型啦：
1import segmentation_models_pytorch as smp 2model = smp.Unet()
根據(jù)訓(xùn)練任務(wù)的不同，可以通過調(diào)整骨干模型來改變網(wǎng)絡(luò)結(jié)構(gòu)，并且使用預(yù)訓(xùn)練權(quán)重來進行初始化：
1model = smp.Unet('resnet34', encoder_weights='imagenet')
也可以改變模型的輸出類型：
1model = smp.Unet('resnet34', classes=3, activation='softmax')
所有的模型都有預(yù)訓(xùn)練編碼器，因此準(zhǔn)備數(shù)據(jù)的方法必須與進行權(quán)重訓(xùn)練時一致：
1from segmentation_models_pytorch.encoders import get_preprocessing_fn 2preprocess_input = get_preprocessing_fn(‘renset18’, pretrained=’imagenet’)
One More Thing
其實Pavel Yakubovskiy小哥早在去年就發(fā)布了一個基于Keras的圖像分割model zoo，一經(jīng)推出就頗受歡迎。
一樣的配方，一樣的味道，簡單易用，一脈相承。麻麻再也不用擔(dān)心我找不到合適的預(yù)訓(xùn)練模型。
不過基于Keras的版本預(yù)訓(xùn)練模型要少一些，小哥也沒有放出對應(yīng)的示例，效果如何，就需要自己去檢驗啦~
傳送門
PyTorch版Github地址：
https://github.com/qubvel/segmentation_models.pytorch
Keras版Github地址：
https://github.com/qubvel/segmentation_models
Colab上手：
https://colab.research.google.com/gist/Scitator/e3fd90eec05162e16b476de832500576/cars-segmentation-camvid.ipynb#scrollTo=A40deTWg-WJ1
相關(guān)閱讀
完勝ReLU！斯坦福的神經(jīng)網(wǎng)絡(luò)采用這種激活函數(shù)，竟高保真還原各種圖像視頻
簡單的結(jié)構(gòu)，引爆機器學(xué)習(xí)圈
