3D模型分割新方法解放雙手！不用人工標注，只需一次訓練
未標注類別也能識別
丁潤語 投稿
量子位 | 公眾號 QbitAI
3D模型分割現在也解放雙手了！
香港大學和字節(jié)夢幻聯動，搞出了個新方法：
不需要人工標注，只需要一次訓練，就能讓3D模型理解語言并識別未標注過的類別。
比如看下面這個例子，未標注的（unannotated）黑板和顯示器，3D模型經過這個方法訓練之后，就能很快“抓準”目標進行劃分。
再比如，給它分別輸入sofa、cough這類同義詞刁難一下，也是輕松拿下。
甚至連浴室（bathroom）這類抽象分類也能搞定。
這個新方法名叫PLA?（Point-Language Assocation），是一種結合點云（目標表面特性的海量點集合）和?然語?的方法。
目前，該論文已經被CVPR 2023接收。
不過話說回來，不需要??標注，只進行?次訓練，同義詞抽象分類也能識別……這可是重重buff疊加。
要知道一般方法使用的3D數據和?然語?并不能夠直接從?上免費獲取，往往需要昂貴的??標注，而且一般方法也?法根據單詞之間的語義聯系識別新類別。
那PLA又是如何做到的呢？一起來看～
具體原理
其實說白了，要成功實現3D模型劃分，最重要的一步就是讓3D數據也能理解?然語?。
專業(yè)點來說，就是要給3D點云引??然語?的描述。
那怎么引入？
鑒于目前2D圖像的劃分已經有比較成功的方法，研究團隊決定從2D圖像入手。
首先，把3D點云轉換為對應的2D圖像，然后作為2D多模態(tài)?模型的輸?，并從中提取對于圖像的語?描述。
緊接著，利?圖?和點云之間的投影關系，圖?的語言描述也就自然能夠關聯到3D點云數據了。
并且，為了兼容不同粒度的3D物體，PLA還提出了多粒度的3D點云-?然語?關聯方法。
對于整個3D場景??，PLA將場景對應所有圖?提取的語?描述進?總結，并?這個總結后的語?關聯整個3D場景。
對于每個圖像視?對應的部分3D場景??，PLA直接利?圖像作為橋梁來關聯對應的3D點云和語?。
對于更加細粒度的3D物體??，PLA通過?較不同圖像對應點云之間的交集和并集，以及語?描述部分的交集和并集，提供了?種更加細粒度的3D-語?關聯?式。
這樣一來，研究團隊就能夠得到成對的3D點云-?然語?，這一把直接解決了人工標注的問題。
PLA用得到的“3D點云-?然語?”對和已有的數據集監(jiān)督來讓3D模型理解檢測和分割問題定義。
具體來說，就是利?對?學習來拉近每對3D點云-?然語?在特征空間的距離，并推遠不匹配的3D點云和?然語?描述。
講了這么多原理，那PLA在具體分割任務中表現到底如何？
語義分割任務超越基準65%
研究?員通過測試3D開放世界模型在未標注類別的性能作為主要衡量標準。
先是在ScanNet和S3DIS的語義分割任務上，PLA超過以前的基線?法35%～65%。
在實例分割任務中，PLA也有提升，對比之前的方法，PLA提升幅度15%～50%不等。
研究團隊
這個項目的研究團隊來自香港大學的CVMI Lab和字節(jié)跳動。
CVMI Lab是香港大學的一個人工智能實驗室，實驗室2020年2月1日成立。
研究范圍涵蓋了計算機視覺與模式識別，機器學習/深度學習，圖像/視頻內容分析以及基于機器智能的工業(yè)大數據分析。
論?地址:
https://arxiv.org/pdf/2211.16312.pdf
項?主?:
https://github.com/CVMI-Lab/PLA
- GPT-5不能停！吳恩達田淵棟反對千人聯名，OpenAI CEO也發(fā)聲了2023-03-30
- ChatGPT標注數據比人類便宜20倍，80%任務上占優(yōu)勢 | 蘇黎世大學2023-03-29
- 馬斯克嘲諷比爾蓋茨不懂AI/ 蘋果收購AI視頻公司/ 壁仞GPU聯創(chuàng)出走…今日更多新鮮事在此2023-03-28
- GPT-4老板：AI可能會殺死人類，已經出現我們無法解釋的推理能力2023-03-28
相關閱讀
差點以為是本人！這個3D人體生成模型厲害了，還能自己改POSE
來自三星AI中心（莫斯科）等團隊的技術人員一直致力于此方面的研究，最終他們開發(fā)出這樣一個模型。
