一大波PyTorch圖像分割模型來襲，俄羅斯程序員出品新model zoo
魚羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
一個(gè)新的圖像分割model zoo來啦！
一大波基于PyTorch的圖像分割模型整理好了就等你來用~
這個(gè)新集合由俄羅斯的程序員小哥Pavel Yakubovskiy一手打造，包含四種模型架構(gòu)和30種預(yù)訓(xùn)練骨干模型（backbone），官方文檔列舉了四條主要特點(diǎn)：
- 高級(jí)API（兩行代碼構(gòu)建神經(jīng)網(wǎng)絡(luò)）
- 4種模型架構(gòu)：Unet，Linknet，F(xiàn)PN，PSPNet
- 每個(gè)架構(gòu)有30種可用的編碼器
- 所有編碼器都具有預(yù)先訓(xùn)練的權(quán)重，可實(shí)現(xiàn)更快、更好的收斂
授人以魚不如授人以漁，放出了model zoo還不算，小哥還貼心地提供了如何使用CamVid數(shù)據(jù)集進(jìn)行訓(xùn)練的示例。
效果怎么樣
CamVid數(shù)據(jù)集是計(jì)算機(jī)視覺領(lǐng)域常用的一個(gè)數(shù)據(jù)集，通常用來進(jìn)行街景分割。
俄羅斯小哥用這個(gè)數(shù)據(jù)集訓(xùn)練了一個(gè)能識(shí)別出圖片中汽車的新模型。無論這輛車是隱藏在暗夜之中還是只有黃豆大小，都逃不出圖像分割模型的手掌心。
構(gòu)建模型時(shí)他選擇了傳奇的Unet架構(gòu)，并使用了se_resnext50_32x4d這個(gè)預(yù)訓(xùn)練骨干模型。
聽上去好像很厲害的樣子，但群眾都相信眼見為實(shí)，不看看模型訓(xùn)練效果如何，心里難免有一丟丟懷疑。
嗯，看來不管是昏天黑地還是目標(biāo)只有一丁點(diǎn)大，新模型的預(yù)測(cè)結(jié)果都挺不錯(cuò)。
再加大難度呢？
量子位表示眼已瞎，模型是真強(qiáng)。
Pavel Yakubovskiy小哥還在Colab上放了用Catalyst（PyTorch上的高級(jí)框架）訓(xùn)練模型的代碼，感興趣的話可以直接在瀏覽器上跑一下。
入園指南
model zoo已開源，免票入場(chǎng)，快來圍觀。
先來了解一下都有哪些預(yù)訓(xùn)練模型可以用：
以及它們的權(quán)重：
pip一下：
$ pip install segmentation-models-pytorch
$ pip install git+https://github.com/qubvel/segmentation_models.pytorch
python庫(kù)安裝完成，就可以輕松地創(chuàng)建模型啦：
1import segmentation_models_pytorch as smp 2model = smp.Unet()
根據(jù)訓(xùn)練任務(wù)的不同，可以通過調(diào)整骨干模型來改變網(wǎng)絡(luò)結(jié)構(gòu)，并且使用預(yù)訓(xùn)練權(quán)重來進(jìn)行初始化：
1model = smp.Unet('resnet34', encoder_weights='imagenet')
也可以改變模型的輸出類型：
1model = smp.Unet('resnet34', classes=3, activation='softmax')
所有的模型都有預(yù)訓(xùn)練編碼器，因此準(zhǔn)備數(shù)據(jù)的方法必須與進(jìn)行權(quán)重訓(xùn)練時(shí)一致：
1from segmentation_models_pytorch.encoders import get_preprocessing_fn 2preprocess_input = get_preprocessing_fn(‘renset18’, pretrained=’imagenet’)
One More Thing
其實(shí)Pavel Yakubovskiy小哥早在去年就發(fā)布了一個(gè)基于Keras的圖像分割model zoo，一經(jīng)推出就頗受歡迎。
一樣的配方，一樣的味道，簡(jiǎn)單易用，一脈相承。麻麻再也不用擔(dān)心我找不到合適的預(yù)訓(xùn)練模型。
不過基于Keras的版本預(yù)訓(xùn)練模型要少一些，小哥也沒有放出對(duì)應(yīng)的示例，效果如何，就需要自己去檢驗(yàn)啦~
傳送門
PyTorch版Github地址：
https://github.com/qubvel/segmentation_models.pytorch
Keras版Github地址：
https://github.com/qubvel/segmentation_models
Colab上手：
https://colab.research.google.com/gist/Scitator/e3fd90eec05162e16b476de832500576/cars-segmentation-camvid.ipynb#scrollTo=A40deTWg-WJ1
- 標(biāo)準(zhǔn)化3D生成質(zhì)量榜單來了！首創(chuàng)層次化評(píng)價(jià)體系，告別“誰的demo更吸睛”主觀評(píng)估2025-08-16
- 阿里閃電入局Agent Infra！智能體新基建亮相WAIC，“超級(jí)大腦”開箱即用2025-07-31
- 世紀(jì)華通謝斐：在“三大平衡”中領(lǐng)跑，實(shí)現(xiàn)游戲行業(yè)更高質(zhì)量的發(fā)展2025-08-01
- 1.5B參數(shù)撬動(dòng)“吉卜力級(jí)”全能體驗(yàn)，國(guó)產(chǎn)開源之光多模態(tài)統(tǒng)一模型，來了2025-07-30
相關(guān)閱讀
CVPR坐實(shí)華人主場(chǎng)：包攬全部獎(jiǎng)項(xiàng)，四成作者來自中國(guó)，清華商湯領(lǐng)銜，專門設(shè)獎(jiǎng)致敬黃煦濤
「乘風(fēng)破浪」的華人學(xué)者
一書吃透機(jī)器學(xué)習(xí)！新版《機(jī)器學(xué)習(xí)基礎(chǔ)》來了，教材PDF、PPT可下載 | 資源
有Reddit網(wǎng)友評(píng)論，這部教材足夠扎實(shí)、內(nèi)容足夠基礎(chǔ)，學(xué)機(jī)器學(xué)習(xí)理論，熟讀這本書就足夠了。
