未知物體也能輕松識別分割，效果可遷移 | DeepMind研究
還可以應(yīng)用到更復(fù)雜的模型中
Pine 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
從來沒有見過的新物體，它也能進行很好地分割。
這是DeepMind研究出的一種新的學(xué)習(xí)框架：目標發(fā)現(xiàn)和表示網(wǎng)絡(luò)（Object discovery and representation networks，簡稱Odin）
以往的自我監(jiān)督學(xué)習(xí)（SSL）方法能夠很好地描述整個大的場景，但是很難區(qū)分出單個的物體。
現(xiàn)在，Odin方法做到了，并且是在沒有任何監(jiān)督的情況下做到的。
區(qū)分出圖像中的單個物體可不是很容易的事，它是怎么做到的呢？
方法原理
能夠很好地區(qū)分出圖像中的各個物體，主要歸功于Odin學(xué)習(xí)框架的“自我循環(huán)”。
Odin學(xué)習(xí)了兩組協(xié)同工作的網(wǎng)絡(luò)，分別是目標發(fā)現(xiàn)網(wǎng)絡(luò)和目標表示網(wǎng)絡(luò)。
目標發(fā)現(xiàn)網(wǎng)絡(luò)以圖像的一個裁剪部分作為輸入，裁剪的部分應(yīng)該包含圖像的大部分區(qū)域，且這部分圖像并沒有在其他方面進行增強處理。
然后對輸入圖像生成的特征圖進行聚類分析，根據(jù)不同的特征對圖像中各個物體的進行分割。
目標表示網(wǎng)絡(luò)的輸入視圖是目標發(fā)現(xiàn)網(wǎng)絡(luò)中所生成的分割圖像。
視圖輸入之后，對它們分別進行隨機預(yù)處理，包括翻轉(zhuǎn)、模糊和點級顏色轉(zhuǎn)換等。
這樣就能夠獲得兩組掩模，它們除了剪裁之外的差異，其他信息都和底層圖像內(nèi)容相同。
而后兩個掩模會通過對比損失，進而學(xué)習(xí)能夠更好地表示圖像中物體的特征。
具體來說，就是通過對比檢測，訓(xùn)練一個網(wǎng)絡(luò)來識別不同目標物體的特征，同時還有許多來自其他不相干物體的“負面”特征。
然后，最大化不同掩模中同一目標物體的相似性，最小化不同目標物體之間的相似性，進而更好地進行分割以區(qū)別不同目標物體。
與此同時，目標發(fā)現(xiàn)網(wǎng)絡(luò)會定期根據(jù)目標表示網(wǎng)絡(luò)的參數(shù)進行相應(yīng)的更新。
最終的目的是確保這些對象級的特性在不同的視圖中大致不變，換句話說就是將圖像中的物體分隔開來。
那么Odin學(xué)習(xí)框架的效果究竟如何呢？
能夠很好地區(qū)分未知物體
Odin方法在場景分割時，沒有先驗知識的情況下遷移學(xué)習(xí)的性能也很強大。
首先，使用Odin方法在ImageNet數(shù)據(jù)集上進行預(yù)訓(xùn)練，然后評估其在COCO數(shù)據(jù)集以及PASCAL和Cityscapes語義分割上的效果。
已經(jīng)知道目標物體，即獲得先驗知識的方法在進行場景分割時，效果要明顯好于其他未獲得先驗知識的方法。
而Odin方法即使未獲得先驗知識，其效果也要優(yōu)于獲得先驗知識的DetCon和ReLICv2。
除此之外，Odin方法不僅可以應(yīng)用在ResNet模型中，還可以應(yīng)用到更復(fù)雜的模型中，如Swim Transformer。
在數(shù)據(jù)上，Odin框架學(xué)習(xí)的優(yōu)勢很明顯，那在可視化的圖像中，Odin的優(yōu)勢在何處體現(xiàn)了呢？
將使用Odin生成的分割圖像與隨機初始化的網(wǎng)絡(luò)（第3列），ImageNet監(jiān)督的網(wǎng)絡(luò)（第4列）中獲得的分割圖像進行比較。
第3、4列都未能清晰地描繪出物體的邊界，或者缺乏現(xiàn)實世界物體的一致性和局部性，而Odin生成的圖像效果很明顯要更好一些。
參考鏈接：
[1] https://twitter.com/DeepMind/status/1554467389290561541
[2] https://arxiv.org/abs/2203.08777
- 英特爾遭遇「災(zāi)難級」財報！裁員、砍業(yè)務(wù)、董事會主席辭職，甚至給不出2023業(yè)績預(yù)期2023-01-28
- 阿里賈揚清：新一輪AI爆發(fā)的推動機制是工程化和開源 | MEET20232023-01-30
- 基因療法讓小鼠剩余壽命翻倍，人類長生不老還遠么？2023-01-26
- 提出量子計算機的俄羅斯數(shù)學(xué)家去世了，享年85歲，門下2位菲爾茲獎得主2023-01-15
相關(guān)閱讀
AI編程登上Science封面：AlphaCode打競賽，三分之二賽題一遍過，成績超過一半程序員
DeepMind：提供0基礎(chǔ)編程新機會
