李飛飛謝賽寧新作「空間推理」：多模態(tài)大模型性能突破關(guān)鍵所在

西風(fēng) 2024-12-23 12:23:14 來(lái)源：量子位

西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

李飛飛謝賽寧再發(fā)新成果：

直接把o1式思考拉至下一個(gè)level——多模態(tài)大語(yǔ)言模型的空間思維！

這項(xiàng)研究系統(tǒng)評(píng)估了多模態(tài)大模型的視覺(jué)空間智能，結(jié)果發(fā)現(xiàn)：

當(dāng)前，即使是最先進(jìn)的多模態(tài)大模型，在空間認(rèn)知方面與人類相比仍有顯著差距，測(cè)試中約71%的錯(cuò)誤都源于空間推理方面的缺陷，即空間推理能力是當(dāng)前主要瓶頸。

更為有趣的是，在這種情況下，思維鏈、思維樹等常用的語(yǔ)言提示技術(shù)直接失靈了——

不僅沒(méi)有提升模型在空間任務(wù)上的表現(xiàn)，反而會(huì)使性能下降。

而在問(wèn)答過(guò)程中明確生成認(rèn)知地圖則會(huì)增強(qiáng)多模態(tài)大模型的空間距離能力。

這項(xiàng)工作陣容非常豪華，合著作者中不僅有李飛飛，還有紐約大學(xué)計(jì)算機(jī)科學(xué)助理教授、CV大牛謝賽寧。

而剩下的四位作者，全部共同一作。

這項(xiàng)研究吸引了不少網(wǎng)友的關(guān)注，大伙兒一邊看論文，一邊已迫不及待搓搓手期待2025年的新進(jìn)展。

多模態(tài)大模型的空間思維

雖然當(dāng)前多模態(tài)大語(yǔ)言模型在語(yǔ)言理解和一般視覺(jué)任務(wù)上取得了顯著進(jìn)展，但在空間認(rèn)知和理解方面的能力仍未得到充分研究。

反觀人類，面對(duì)心理旋轉(zhuǎn)測(cè)試、挑選家具這些任務(wù)時(shí)，會(huì)同時(shí)依賴于空間和視覺(jué)思考。

多模態(tài)大語(yǔ)言模型能否“進(jìn)行空間思考”？能否構(gòu)建一個(gè)準(zhǔn)確的、隱式的“認(rèn)知地圖”來(lái)幫助它們回答有關(guān)空間的問(wèn)題？使用多模態(tài)大語(yǔ)言模型來(lái)增強(qiáng)空間智能的優(yōu)勢(shì)和局限性是什么？

為了探索這些問(wèn)題，團(tuán)隊(duì)研究了視覺(jué)空間智能。

作者解釋，之所以在“空間智能”前加上“視覺(jué)”一詞，是因?yàn)榭臻g智能不受感官模式限制，比如盲人也可以通過(guò)別的感官感知空間，而該研究專注于視頻輸入，所以討論視覺(jué)空間智能。

VSI-Bench視覺(jué)空間智能基準(zhǔn)測(cè)試集

首先團(tuán)隊(duì)提出了一個(gè)名為VSI-Bench的基準(zhǔn)測(cè)試集。

基于之前的計(jì)算機(jī)視覺(jué)工作，團(tuán)隊(duì)重新利用現(xiàn)有的空間掃描視頻（最初用于3D重建）及其真實(shí)標(biāo)注來(lái)自動(dòng)生成視覺(jué)問(wèn)答（VQA）問(wèn)題。

具體來(lái)說(shuō)，這個(gè)測(cè)試集基于ScanNet、ScanNet++和ARKitScenes等數(shù)據(jù)集中的288個(gè)真實(shí)室內(nèi)場(chǎng)景視頻，包括住宅、辦公室、實(shí)驗(yàn)室等各種環(huán)境。

團(tuán)隊(duì)設(shè)計(jì)了超5000個(gè)問(wèn)答對(duì)，將評(píng)測(cè)任務(wù)分為三大類：

• 配置型任務(wù)：物體計(jì)數(shù)、相對(duì)距離、相對(duì)方向、路線規(guī)劃
• 測(cè)量估計(jì)：物體尺寸、房間大小、絕對(duì)距離
• 時(shí)空任務(wù)：物體出現(xiàn)順序等

并采用人工審核確保數(shù)據(jù)質(zhì)量，消除歧義和錯(cuò)誤標(biāo)注。

隨后，他們?nèi)嬖u(píng)估了15種支持視頻的多模態(tài)大語(yǔ)言模型，開(kāi)源、閉源的都有。

結(jié)果，人類在VSI-Bench上的平均準(zhǔn)確率達(dá)到79%，在配置型和時(shí)空任務(wù)上準(zhǔn)確率更高，處于94%-100%之間。

相比之下，表現(xiàn)最好的閉源模型是Gemini-1.5 Pro，平均準(zhǔn)確率為48.8%，開(kāi)源模型LLaVA-NeXT-Video-72B和LLaVA-OneVision-72B與之相近。

在需要精確估計(jì)絕對(duì)距離/大小的三個(gè)測(cè)量任務(wù)上，大模型和人類表現(xiàn)差距相對(duì)較小。

團(tuán)隊(duì)還進(jìn)一步證實(shí)了視頻輸入對(duì)模型性能的重要性，盲測(cè)實(shí)驗(yàn)中，在絕對(duì)距離估計(jì)等特定任務(wù)上，即使是最先進(jìn)的模型也難以超越隨機(jī)基線的表現(xiàn)。

語(yǔ)言視覺(jué)兩個(gè)層面分析模型思維過(guò)程

為了深入理解模型的認(rèn)知機(jī)制，團(tuán)隊(duì)又從語(yǔ)言和視覺(jué)兩個(gè)層面分析了模型的思維過(guò)程。

在語(yǔ)言層面，通過(guò)讓模型進(jìn)行自我解釋，發(fā)現(xiàn)它們確實(shí)具備不錯(cuò)的視頻理解和語(yǔ)言推理能力。

但詳細(xì)的錯(cuò)誤分析顯示，超70%的錯(cuò)誤源于其空間推理能力的不足。

接著，團(tuán)隊(duì)用常用的語(yǔ)言提示技術(shù)改進(jìn)，包括思維鏈、思維樹、自洽性。

結(jié)果不僅沒(méi)有提升模型在空間任務(wù)上的表現(xiàn)，反而導(dǎo)致了性能下降，也就是說(shuō)純粹的語(yǔ)言推理技術(shù)難以解決空間認(rèn)知問(wèn)題。

在視覺(jué)層面，他們又使用認(rèn)知地圖來(lái)分析模型的空間記憶能力。

結(jié)果顯示，模型在理解局部空間關(guān)系時(shí)表現(xiàn)較好，相鄰物體位置關(guān)系的準(zhǔn)確率達(dá)到64%。但隨著物體之間距離的增加，模型的空間關(guān)系理解能力顯著下降。

這說(shuō)明模型傾向于建立局部空間模型，而不是形成完整的全局空間理解。

不過(guò)，他們研究了一種新思路：

使用認(rèn)知地圖輔助空間推理。

加入這種機(jī)制，模型在相對(duì)距離任務(wù)上的準(zhǔn)確率提升了10個(gè)百分點(diǎn)，這為提升模型空間智能提供了一個(gè)潛在的解決方向。

李飛飛謝賽寧領(lǐng)銜，四位共同一作

論文一經(jīng)公布，幾位作者就激情當(dāng)起了自個(gè)兒的首批自來(lái)水（doge）。

謝賽寧表示：

視頻理解是下一個(gè)前沿領(lǐng)域，但并非所有視頻都是相同的。

這項(xiàng)研究探索了多模態(tài)大語(yǔ)言模型如何觀察、記憶和回憶空間。

“AI教母”李飛飛也轉(zhuǎn)發(fā)開(kāi)麥：

這是人類智能中極為重要的一個(gè)方面，2025年還有更多值得期待，推動(dòng)空間智能的邊界！

這項(xiàng)研究共同一作有四位，正如李飛飛教授透露，多位都是謝賽寧的學(xué)生。

Jihan Yang

Jihan Yang是紐約大學(xué)Courant研究所博士后研究員，導(dǎo)師是謝賽寧。在此之前，Jihan Yang于香港大學(xué)獲得了博士學(xué)位，中山大學(xué)獲得了學(xué)士學(xué)位。

他的研究興趣集中在機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)領(lǐng)域，特別關(guān)注多模態(tài)和具身智能。

Shusheng Yang

Shusheng Yang目前是紐約大學(xué)博士生。

領(lǐng)英顯示，他是華中科技大學(xué)校友，曾經(jīng)在阿里和騰訊有過(guò)工作經(jīng)歷。

Anjali Gupta

Anjali Gupta是紐約大學(xué)Courant研究所博士生，導(dǎo)師是謝賽寧教授。

她的研究領(lǐng)域是機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)，特別是以視覺(jué)為中心的多模態(tài)大語(yǔ)言模型。

Rilyn Han

Rilyn Han來(lái)自耶魯大學(xué)，主修計(jì)算機(jī)科學(xué)和經(jīng)濟(jì)學(xué)，研究主要關(guān)注探索多模態(tài)大語(yǔ)言模型的能力。

論文鏈接：https://arxiv.org/pdf/2412.14171
項(xiàng)目主頁(yè)：https://vision-x-nyu.github.io/thinking-in-space.github.io/
參考鏈接：
[1]https://x.com/sainingxie/status/1870877202595958791
[2]https://x.com/drfeifei/status/1870881981703291097
[3]https://vision-x-nyu.github.io/thinking-in-space.github.io/