何愷明、陳鑫磊新研究：提出實(shí)例分割新方法，效果比肩Mask R-CNN
全新角度看實(shí)例分割問題
銅靈 發(fā)自 凹非寺
量子位 出品 | 公眾號 QbitAI
何愷明大神的團(tuán)隊(duì)又有新研究了！
這一次，F(xiàn)acebook的陳鑫磊、何愷明等人，又從全新的角度，再次解決了實(shí)例分割任務(wù)中的難題：
他們提出一種通用的實(shí)例分割框架TensorMask，彌補(bǔ)了密集滑動窗口實(shí)例分割的短板。
在COCO數(shù)據(jù)集上進(jìn)行測試實(shí)例分割結(jié)果可以發(fā)現(xiàn)，TensorMask的效果可以比肩Mask R-CNN。
這是種怎樣的新方法？
4D張量
在論文TensorMask: A Foundation for Dense Object Segmentation中，研究人員詳細(xì)介紹了通用框架TensorMask。
此前，實(shí)例分割的主流方法是Mask R-CNN。在這種方法中，模型先檢測物體的邊界框，然后進(jìn)行裁剪和目標(biāo)分割。
但是，密集滑動窗口的實(shí)例分割 (Dense Sliding-window Instance Segmentation)卻鮮少被人關(guān)注。在這種方法中，每個(gè)空間位置的輸出本身具有自己空間維度的幾何結(jié)構(gòu)，與Mask R-CNN有本質(zhì)上的區(qū)別。
為了形式化說明這一方法，研究人員將密集實(shí)例分割看作是4D張量（4D tensors）上的預(yù)測任務(wù)，并提出通用框架TensorMask獲取這種幾何結(jié)構(gòu)。
TensorMask的核心變化是，用結(jié)構(gòu)化的高維張量表示一組密集滑動窗口中的圖像內(nèi)容。
TensorMask中包含兩部分，一是預(yù)測蒙版的Head，負(fù)責(zé)在滑動窗口中生成蒙版，二是進(jìn)行分類的Head，負(fù)責(zé)預(yù)測目標(biāo)的類別。
兩者分工明確，各司其職。
在COCO數(shù)據(jù)集上進(jìn)行實(shí)例分割檢測可以發(fā)現(xiàn)，TensorMask在test-dev上的平均精度達(dá)到了35.5，與Mask R-CNN的36.8非常接近。
結(jié)果證明，在定量和定性上，TensorMask均接近Mask R-CNN。
中國少年×2
這項(xiàng)新研究的背后，少不了中國研究人員的足跡。
論文一作是中國少年陳鑫磊，目前就職于Facebook，一路走來其研究經(jīng)歷閃閃發(fā)光。
陳鑫磊在浙江大學(xué)攻讀計(jì)算機(jī)科學(xué)專業(yè)學(xué)習(xí)時(shí)，師從蔡登教授。本科畢業(yè)后奔赴CMU攻讀博士，師從Abhinav Gupta教授，主要攻讀計(jì)算機(jī)視覺方向。
在博士畢業(yè)前，陳鑫磊在Google Cloud AI部門實(shí)習(xí)過，當(dāng)時(shí)在李飛飛和李佳兩位大牛的項(xiàng)目組內(nèi)。
在陳鑫磊的個(gè)人主頁上可以看到，其參與過的多篇論文都被頂會接收。
三作何愷明大家應(yīng)該不陌生，作為Mask R-CNN的主要提出者，何愷明三次斬獲頂會最佳論文。
何愷明曾是廣東高考狀元，并保送了清華。本科畢業(yè)后，何愷明進(jìn)入香港中文大學(xué)讀研。期間繼續(xù)在微軟亞洲研究院參與研究，現(xiàn)也就職于Facebook。
論文的二作Ross Girshick和四作Piotr Dollar陳鑫磊和何愷明在Facebook的同事，頂會論文Mask R-CNN、Focal Loss for Dense Object Detection等，都是三人曾合作開展的研究。
有友如此，甚好甚好。
傳送門
論文TensorMask: A Foundation for Dense Object Segmentation：
https://arxiv.org/abs/1903.12174
論文中表示，研究結(jié)果將于不久后開源~
值得期待。
—?完?—
誠摯招聘
量子位正在招募編輯/記者，工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請?jiān)诹孔游还娞?QbitAI)對話界面，回復(fù)“招聘”兩個(gè)字。
量子位?QbitAI · 頭條號簽約作者
?’?’ ? 追蹤AI技術(shù)和產(chǎn)品新動態(tài)
相關(guān)閱讀
ICML新研究提出泛化能力評估新指標(biāo)：直接上向量余弦距離就OK，還開源了相關(guān)代碼
研究指出，網(wǎng)絡(luò)的泛化能力，可以通過“層旋轉(zhuǎn)”來評判。
