AI連電路圖都看不懂？SeePhys新基準(zhǔn)暴擊多模態(tài)短板，正確率僅55%

西風(fēng) 2025-05-29 15:08:08 來源：量子位

SeePhys團隊 投稿

量子位 | 公眾號 QbitAI

當(dāng)前頂尖AI模型是否真能“看懂”物理圖像？

全譜系多模態(tài)物理推理新基準(zhǔn)來了，結(jié)果SOTA級模型準(zhǔn)確率都不足55%。

新基準(zhǔn)名為SeePhys，強調(diào)了圖形感知對于模型認(rèn)識和理解物理世界的重要性。

內(nèi)容涵蓋經(jīng)典與現(xiàn)代物理的各個知識等級和領(lǐng)域，包括從初中到博士資格考試的全譜系多模態(tài)物理問題。

它由中山大學(xué)、蘇黎世聯(lián)邦理工學(xué)院、華為諾亞方舟實驗室和香港大學(xué)的研究團隊聯(lián)合推出，于近日正式開源。

團隊在實驗中系統(tǒng)性評估了LLM/MLLM在復(fù)雜科學(xué)圖表與理論推導(dǎo)耦合任務(wù)中的表現(xiàn)。

結(jié)果表明即使是Gemini-2.5-Pro和o4-mini等SOTA模型準(zhǔn)確率都不足55%，暴露出多模態(tài)推理的巨大挑戰(zhàn)。

團隊表示，目前該基準(zhǔn)正在ICML 2025 AI for MATH Workshop中開放評估，歡迎學(xué)界與工業(yè)界的團隊來挑戰(zhàn)。

為什么需要SeePhys？

近年來，數(shù)學(xué)在大語言模型（LLMs）的推理能力評估中大放異彩，而物理學(xué)由于其具有與真實場景的強相關(guān)性和更復(fù)雜的圖像信息，正在多模態(tài)測評中得到越來越多的重視。

物理學(xué)不僅知識體系龐大、邏輯鏈條復(fù)雜，而且天然地將抽象世界規(guī)律與千變?nèi)f化的視覺圖像緊密結(jié)合。無論是電路圖、受力分析圖，還是費曼圖等，都挑戰(zhàn)了多模態(tài)大模型根據(jù)圖表理解世界本質(zhì)規(guī)律的能力。

現(xiàn)有物理學(xué)基準(zhǔn)或缺乏視覺組件，或僅覆蓋單一的知識層級，難以全面評估模型的物理思維能力。

SeePhys的誕生填補了這一空白，它旨在回答當(dāng)前的頂尖AI模型是否真的“看懂”了物理圖像，并能像人類科學(xué)家一樣結(jié)合圖像進行思考。

SeePhys的獨特之處在于：

• 知識層級跨度大：從初中到博士，從經(jīng)典力學(xué)到量子場論，全面覆蓋了不同知識階段和研究領(lǐng)域；
• 強視覺依賴：根據(jù)圖表是否包含必要解題信息進行分類，優(yōu)先選擇具有強視覺依賴的問題；
• 跨模態(tài)耦合：純多模態(tài)基準(zhǔn)，需同步處理符號公式、幾何關(guān)系與真實世界建模。

具體來看，SeePhys具有以下幾個關(guān)鍵屬性。

首先是全譜系覆蓋：

• 2000道題目+2245張圖表，涵蓋7大物理領(lǐng)域（經(jīng)典力學(xué)、電磁學(xué)、量子物理等）；
• 8個知識層級：初中、高中、奧賽（初級/高級）、本科（低年級/高年級）、碩士、博士資格考試；
• 21類異構(gòu)圖表：包括電路圖、時空曲率圖、光電效應(yīng)示意圖等。

其次是不同的視覺富集程度：

• Vision-Essential（75%）：圖表含解題必需信息（如坐標(biāo)系數(shù)值、電路拓?fù)洹①M曼圖）；
• Vision-Optional（25%）：圖表僅輔助說明（如場景示意圖）。

還有多模態(tài)增強設(shè)計：

• 提供純視覺副本（問題文本與圖表融合為單張高分辨率圖像）；
• 四種評估模式：文本+圖表（TV）、文本+描述（TC）、純文本（TO）、純視覺（VO）。

實驗發(fā)現(xiàn)

通過對28個主流模型（包括o4-mini、Gemini-2.5-Pro、Claude-3.7-Sonnet等）的大規(guī)模測試，研究團隊總結(jié)以下結(jié)論：

視覺-文本對齊能力的缺陷：

• 最佳模型Gemini-2.5-Pro準(zhǔn)確率僅54.9%，即使是初中物理題正確率也不及70%。
• 純語言模型表現(xiàn)意外接近多模態(tài)模型，如DeepSeek-R1（42.2%）?vs o3-mini（40.3%），且模型在視覺依賴性較低的問題中準(zhǔn)確率遠高于視覺信息富集的問題，暴露了當(dāng)前頂尖MLLM仍存在巨大的視覺-文本對齊問題。
• 模型對特定圖表類型（波動方程圖、電路圖）存在系統(tǒng)性識別障礙。

“看見”對于“思考”的重要性：

• 對于視覺富集的問題，添加對圖像的文本描述和直接輸入圖文交織問題均相對純文本問題提升巨大。
• 即使是非必要性圖表也能輔助模型理解問題（如Claude-3.7-Sonnet在Text+Vision條件下相對Vision Only準(zhǔn)確率提升30.2%），表明適當(dāng)?shù)囊曈X提示能夠幫助模型理解問題本質(zhì)。

知識注入顯現(xiàn)出邊際效應(yīng)：

• 較弱模型（如Qwen2.5-VL-3B和LLaVA-OneVision-7B）由于災(zāi)難性遺忘現(xiàn)象，在高年級問題上精度下降幅度巨大，而較強模型則下降較為平緩，表明知識注入帶來的性能提升已經(jīng)初步顯現(xiàn)邊際效應(yīng)。
• 當(dāng)前模型更擅長記憶而非邏輯推理（如高級奧賽題反而比知識考察更深的博資考的準(zhǔn)確率更低）。
• 即使是初中和高中難度的物理題也并未被AI完全解決，物理學(xué)對于MLLM依然十分困難。

錯誤推理模式歸納

研究團隊對強模型o4-mini, Gemini-2.5-Pro與弱模型Qwen2.5-VL-3B共同錯誤的100個樣本進行人工分析。

然后，歸納得出了9種錯誤的推理模式，包括視覺誤讀、文本誤讀、建模錯誤、錯誤假設(shè)、數(shù)值計算錯誤、過度簡化、總結(jié)錯誤、過度思考和重復(fù)輸出。

所有三個模型都表現(xiàn)出明顯的建模缺陷（例如定理和公式誤用），同時表現(xiàn)出相對較少的文本誤讀和數(shù)值計算錯誤。

而過度思考和過度簡化的錯誤頻率在模型之間存在顯著差異，且較小的Qwen2.5-VL-3B出現(xiàn)了高重復(fù)輸出率（21%）。

參賽鏈接：https://www.codabench.org/competitions/7925/
挑戰(zhàn)賽詳細(xì)信息：https://sites.google.com/view/ai4mathworkshopicml2025/challenge
ICML workshop 主頁：https://sites.google.com/view/ai4mathworkshopicml2025/home

論文：https://arxiv.org/pdf/2505.19099
項目主頁：https://github.com/SeePhys/seephys-project