李飛飛團(tuán)隊最新研究，真實場景中識別物體具體屬性，連表面紋理都識別出來了

白交 2020-06-29 14:43:36 來源：量子位

白交 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

現(xiàn)在，細(xì)微到物體表面的紋理，AI都可以識別。

這就是李飛飛團(tuán)隊新研究。

我們知道，卷積神經(jīng)網(wǎng)絡(luò)在識別視覺對象方面很出色，但還不能很好的識別出物體的具體屬性，比如表面形狀、紋理等。

而最近，李飛飛團(tuán)隊的最新研究——Learning Physical Graph Representations from Visual Scenes，就一舉解決了這個問題。

還引入了物理場景圖（Physical Scene Graphs，PSG）和對應(yīng)的PSGNet網(wǎng)絡(luò)架構(gòu)。

PSG的概念概括了MONet/IODINE和3D-RelNet的工作思路，力求能夠在幾何上處理復(fù)雜的物體形狀和紋理。

這樣，在真實世界的視覺數(shù)據(jù)中學(xué)習(xí)，可以做到自監(jiān)督，因而不需要大量和繁瑣的場景組件標(biāo)記。

具體研究是如何呢？我們一起來看看吧！

PSGNet的建構(gòu)

簡單來說，用一張圖就可以表示。

棕色方框表示PSGNet的三個階段。

首先，特征提取。采用ConvRNN從輸入中提取特征。

然后，構(gòu)建圖形，負(fù)責(zé)優(yōu)化現(xiàn)有PSG級別。

最后，用于端到端訓(xùn)練的圖形渲染。

其中，在構(gòu)建圖形這一階段，由一對可學(xué)習(xí)的模塊組成，即池化和向量化。

前者在現(xiàn)有圖節(jié)點(diǎn)上動態(tài)的構(gòu)建一個池化核的分區(qū)，作為學(xué)習(xí)的、成對的節(jié)點(diǎn) affinities函數(shù)。

后者在與每個池化核相關(guān)聯(lián)的圖像區(qū)域及其邊界上，聚合節(jié)點(diǎn)統(tǒng)計，來產(chǎn)生新節(jié)點(diǎn)的屬性向量。這樣便可以直觀的表示出真實場景中的物體屬性。

在「圖形渲染階段」，PSG相當(dāng)于通過一個解碼器。

在每個時間點(diǎn)將圖節(jié)點(diǎn)屬性，以及圖節(jié)點(diǎn)頂層空間配準(zhǔn)（SR），渲染成RGB、深度、段和RGB變化圖z。

舉個例子，除開棕色方框部分，就是一個PSG的三個層次以及與其紋理（QTR）和形狀（QSR）渲染圖。

實驗結(jié)果

隨后，將模型在 TDW-Primitives、TDW-Playroom 和 Gibson 測試集上訓(xùn)練，并與最近基于CNN場景分割方法進(jìn)行性能比較。

首先說一說這三個數(shù)據(jù)集，為什么要選擇這三個數(shù)據(jù)集呢？

Primitives和Playroom中的圖像由ThreeDWorld (TDW)生成。其中，Primitives是在一個簡單的3D房間中渲染的原始形狀（如球體、圓錐體和立方體）的合成數(shù)據(jù)集。

Playroom是具有復(fù)雜形狀和逼真紋理的物體的合成數(shù)據(jù)集，如動物、家具和工具，渲染為具有物體運(yùn)動和碰撞的圖形。

Gibson則是由斯坦福大學(xué)校園內(nèi)部建筑物的RBG-D掃描組成。

這三個數(shù)據(jù)集都提供了用于模型監(jiān)督的RGB、深度和表面法線圖。

性能的比較結(jié)果如下：

注意的是，OP3和PSGNetM沒有在Gibson或Primitives上進(jìn)行訓(xùn)練，因為它們有靜態(tài)測試集。

可以看到與其他模型相比，PSGNet表現(xiàn)出了更優(yōu)的性能。

△PSGNets的場景分解

此外，文中還通過「手動編輯」PSG頂層的節(jié)點(diǎn)，觀察其渲染效果，來說明PSG能夠正確的將場景表示為離散的對象及其屬性。

就像這樣。

從圖中刪除一個節(jié)點(diǎn)（DeleteA或者B），將它們移動到新的3D位置（MoveB和Occlude），改變形狀屬性（Scale/Rot），或者交換兩個節(jié)點(diǎn)的顏色（Swap RGB）。

結(jié)果，發(fā)現(xiàn)都會改變相對于原始（Full）預(yù)測的圖形渲染。

研究團(tuán)隊

這篇論文的研究團(tuán)隊是由斯坦福大學(xué)和麻省理工大學(xué)多個團(tuán)隊共同合作完成的，其中就包括李飛飛團(tuán)隊和來自MIT CSAIL的團(tuán)隊。

第一作者名叫Daniel Bear，心理學(xué)系博士后研究員，來自斯坦福大學(xué)吳蔡神經(jīng)科學(xué)研究所。

你可能想問，為何研究腦科學(xué)的會跟李飛飛團(tuán)隊一起合作呢？

看了這位作者的研究方向你就知道了。

他一直都在致力于研究動物是如何感知世界。

從一開始哈佛大學(xué)本科期間，就主要研究動物電信號，比如來自感官刺激的信號，如何誘導(dǎo)神經(jīng)元基因表達(dá)。

接著在哈佛大學(xué)繼續(xù)攻讀博士時，就研究化學(xué)信號，比如動物遇到的氣味分子，如何轉(zhuǎn)化為嗅覺感知。

而現(xiàn)在博士后研究期間，他就把目光轉(zhuǎn)向了采用計算模型來表示動物大腦中的表征。如果可以，給他進(jìn)一步的研究提供了思路。

于是，他們就這樣交織在了一起。

吳蔡神經(jīng)科學(xué)研究所

也許有朋友會對這個研究所的名字有點(diǎn)陌生。

但這是斯坦福大學(xué)里以中國人命名的研究所，2018年10月，出于紀(jì)念蔡崇信、吳明華夫婦對該所慷慨捐贈，正式命名為吳蔡神經(jīng)科學(xué)研究所。

蔡崇信，大家都不陌生了。阿里巴巴合伙人，最早慧眼識珠加入馬云的阿里事業(yè)的那個人。

也是鮮有機(jī)會，其夫人也被關(guān)注到。

現(xiàn)在，他們捐贈的研究所，產(chǎn)出了新成果。

所以新論文到手，歡迎細(xì)致研讀后分享你的“讀后感”哦。

論文地址：https://arxiv.org/abs/2006.12373