5700問答對全面評估拷問AI空間感！最新空間智能評測基準來了丨浙大&成電&港中文

聞樂 2025-06-02 12:41:06 來源：量子位

ZJU REAL Lab 投稿

量子位 | 公眾號 QbitAI

杯子在我的左邊還是右邊？

這個對人類來說非常簡單的問題，連GPT-4o這樣級別的視覺語言大模型（VLMs）也可能答錯。

究其根本，還是當前的視覺語言大模型在大規(guī)模圖文數(shù)據(jù)中學(xué)習(xí)到的空間信息往往是片段化的，僅限于靜態(tài)視角的理解，缺乏多維度、多視角的空間推理能力。

因此，當面對需要多視角空間推理的任務(wù)時，這些模型們就頻頻卡殼。

但是，具備穩(wěn)健的空間推理能力與視角理解能力的AI系統(tǒng)，才能真正成為與人類協(xié)作的智能體。

為此，來自浙江大學(xué)、電子科技大學(xué)和香港中文大學(xué)的研究團隊提出了首個系統(tǒng)評估VLM多視角多任務(wù)下的空間定位能力的基準體系——

ViewSpatial-Bench，涵蓋五種不同的任務(wù)類型，從相機和人類視角出發(fā)，全面評估模型的空間推理能力。

同時還并配備了能夠生成精確方向標簽的自動化3D標注流水線。通過高效的3D方向標注生成流程，實現(xiàn)了超過5700個問答對，覆蓋豐富的3D場景。

通過在多視角空間數(shù)據(jù)集上的微調(diào)，ViewSpatial-Bench團隊實現(xiàn)了模型性能的整體提升46.24%。

五大任務(wù)，覆蓋雙重視角

ViewSpatial-Bench評估集中包含5700個問答對，涵蓋相機視角與人類視角兩種框架下的五種空間定位識別任務(wù)。

如圖所示，無論圖像聚焦的是場景布局還是人物動作，該基準測試要求模型在不同場景中準確理解空間結(jié)構(gòu)并進行定位，系統(tǒng)性評估多模態(tài)模型的跨視角空間推理能力，其中包括：

從相機視角出發(fā)的兩類任務(wù)，主要評估視覺語言大模型基于自我視角的直觀空間理解能力。

1. 物體相對方向識別：直接基于圖像判斷物體之間的空間關(guān)系。
2. 人物視線方向識別：從相機視角識別圖中人物的注視方向。

還有三類任務(wù)從人類視角出發(fā)，聚焦于模型是否具備抽象的、依賴感知的空間理解能力。分別是：

1. 物體相對方向識別：從圖中人物的視角，判斷其他物體與其的空間關(guān)系。
2. 人物視線方向識別：假設(shè)自己處于圖中人物的位置，推斷其面朝的方向。
3. 場景模擬的相對方向識別：通過模擬“自身”在場景中位置判斷物體的相對位置。

為構(gòu)建高質(zhì)量的空間推理評估基準，研究團隊基于ScanNet和MS-COCO兩大經(jīng)典視覺數(shù)據(jù)集，開發(fā)了完整的自動化數(shù)據(jù)構(gòu)建流水線。

構(gòu)建流程如下：

首先從場景中選取包含豐富三維信息的圖像，結(jié)合現(xiàn)有標注信息精準提取物體位置坐標或人物姿態(tài)方向。

隨后基于這些三維坐標或朝向角度計算各類相對空間關(guān)系，通過精心設(shè)計的自然語言模板自動生成語義明確的問答對，最終經(jīng)過人工驗證確保質(zhì)量。

這一自動化處理方式在保證數(shù)據(jù)規(guī)?；透咝实耐瑫r，兼顧了空間關(guān)系的準確性和語言表述的多樣性，為模型訓(xùn)練和評估奠定了堅實的數(shù)據(jù)基礎(chǔ)。

多模態(tài)大模型并未真正理解空間結(jié)構(gòu)

基于構(gòu)建的 ViewSpatial-Bench，研究團隊系統(tǒng)評估了包括GPT-4o、Gemini 2.0、InternVL3、Qwen2.5-VL等在內(nèi)的十余種主流模型的表現(xiàn)，結(jié)果顯示：

在真正理解空間關(guān)系上，當前VLMs的表現(xiàn)還遠遠不夠。

從整體準確率來看，多個頂尖模型在ViewSpatial-Bench上的得分并不高。

這表明，盡管模型具備基本的圖像理解能力，但在涉及多視角空間定位時，仍缺乏空間感與換位思考能力。

更值得關(guān)注的是不同任務(wù)類型間的顯著表現(xiàn)差異。

在攝像頭視角下，模型在人物面朝方向判斷任務(wù)上的平均準確率僅為25.6%，遠低于”物體相對方向判斷”的38.9%。然而在人物視角下，這一趨勢卻完全反轉(zhuǎn)。

這種“任務(wù)-視角”交叉表現(xiàn)的失衡揭示了當前VLMs的核心缺陷：它們無法構(gòu)建統(tǒng)一的三維空間認知框架來支持跨視角推理。

實質(zhì)上，模型并未真正理解空間結(jié)構(gòu)，而是將不同視角下的推理過程割裂處理，缺乏從統(tǒng)一空間表征中靈活調(diào)度信息的能力。

有趣的是，實驗結(jié)果還揭示出一個反直覺的現(xiàn)象：

大多數(shù)模型在人物視角的任務(wù)上表現(xiàn)略優(yōu)于攝像頭視角。

例如，GPT-4o 在人物視角平均準確率為36.29%，略高于攝像頭視角的33.57%；InternVL2.5、Kimi-VL也表現(xiàn)出類似趨勢。

這一現(xiàn)象打破了我們對“自我視角更易處理”的常識性認知，這與上面任務(wù)表現(xiàn)的失衡有直接聯(lián)系，說明模型在訓(xùn)練過程中可能存在學(xué)習(xí)了更偏“第三人稱”視角的空間分布規(guī)律，而缺乏從相機視角進行空間映射的能力。

這種偏差揭示了當前訓(xùn)練語料在視角分布上存在結(jié)構(gòu)性不平衡，為未來的數(shù)據(jù)構(gòu)建和模型優(yōu)化指明了重要方向。

如何讓模型理解“換位思考”

針對當前視覺語言大模型在多視角空間推理方面的根本性局限，研究團隊開發(fā)了Multi-View Spatial Model（MVSM），專門用于跨視角空間理解進行系統(tǒng)性優(yōu)化。

MVSM采用自動化空間標注框架生成了約43000個高質(zhì)量的多樣化空間關(guān)系樣本，全面覆蓋ViewSpatial-Bench的五個任務(wù)類別。

實驗結(jié)果顯示，在ViewSpatial-Bench上，MVSM相比其骨干模型Qwen2.5-VL實現(xiàn)了46.24%的絕對性能提升，充分驗證了針對性訓(xùn)練在解決空間認知缺陷方面的有效性。

如上圖所示，為了進一步驗證MVSM的空間理解能力，研究團隊在VSI-Bench和自建的ViewSpatial Interaction Application Dataset（VSI-App）上進行了評估。

在VSI-Bench中，MVSM在需要視角轉(zhuǎn)換能力的物體相對方向任務(wù)上取得了0.93%的提升，在路徑規(guī)劃任務(wù)上更是實現(xiàn)了9.54%的顯著改進。

VSI-App包含50個場景（25個室內(nèi)，25個戶外），專門設(shè)計用于評估具身交互環(huán)境中的人類中心空間推理。

在這個更貼近現(xiàn)實的測試中，MVSM依然取得了顯著領(lǐng)先，尤其在結(jié)構(gòu)更清晰的室內(nèi)場景中表現(xiàn)尤為出色（提升+20%），在戶外場景中也有適度提升（+4.00%）。

以上結(jié)果證明，MVSM不僅能夠建模靜態(tài)空間關(guān)系，還能處理穿越3D環(huán)境的動態(tài)軌跡以及人機交互場景——這些能力都是從視角感知訓(xùn)練方法中自然涌現(xiàn)的，而非通過顯式的優(yōu)化獲得。

ViewSpatial-Bench和MVSM的提出不僅為多模態(tài)模型的空間理解能力提供了系統(tǒng)評估工具，也首次在數(shù)據(jù)和訓(xùn)練范式上重構(gòu)了“視角采擇”這一關(guān)鍵人類認知能力的建模方式。

通過建立首個多視角空間推理基準并實現(xiàn)顯著的性能突破，為AI系統(tǒng)獲得類人空間認知能力提供了可行路徑：

更聰明的空間感知，是下一代機器人與多模態(tài)助手的關(guān)鍵一步。

論文鏈接：
https://arxiv.org/abs/2505.21500
項目主頁：
https://zju-real.github.io/ViewSpatial-Page
GitHub倉庫：
https://github.com/ZJU-REAL/ViewSpatial-Bench

— 完 —