AI連電路圖都看不懂？SeePhys新基準(zhǔn)暴擊多模態(tài)短板，正確率僅55%
揭示MLLM視覺-文本對(duì)齊能力缺陷
SeePhys團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI
當(dāng)前頂尖AI模型是否真能“看懂”物理圖像？
全譜系多模態(tài)物理推理新基準(zhǔn)來了，結(jié)果SOTA級(jí)模型準(zhǔn)確率都不足55%。
新基準(zhǔn)名為SeePhys，強(qiáng)調(diào)了圖形感知對(duì)于模型認(rèn)識(shí)和理解物理世界的重要性。
內(nèi)容涵蓋經(jīng)典與現(xiàn)代物理的各個(gè)知識(shí)等級(jí)和領(lǐng)域，包括從初中到博士資格考試的全譜系多模態(tài)物理問題。
它由中山大學(xué)、蘇黎世聯(lián)邦理工學(xué)院、華為諾亞方舟實(shí)驗(yàn)室和香港大學(xué)的研究團(tuán)隊(duì)聯(lián)合推出，于近日正式開源。
團(tuán)隊(duì)在實(shí)驗(yàn)中系統(tǒng)性評(píng)估了LLM/MLLM在復(fù)雜科學(xué)圖表與理論推導(dǎo)耦合任務(wù)中的表現(xiàn)。
結(jié)果表明即使是Gemini-2.5-Pro和o4-mini等SOTA模型準(zhǔn)確率都不足55%，暴露出多模態(tài)推理的巨大挑戰(zhàn)。
團(tuán)隊(duì)表示，目前該基準(zhǔn)正在ICML 2025 AI for MATH Workshop中開放評(píng)估，歡迎學(xué)界與工業(yè)界的團(tuán)隊(duì)來挑戰(zhàn)。
為什么需要SeePhys？
近年來，數(shù)學(xué)在大語言模型（LLMs）的推理能力評(píng)估中大放異彩，而物理學(xué)由于其具有與真實(shí)場景的強(qiáng)相關(guān)性和更復(fù)雜的圖像信息，正在多模態(tài)測評(píng)中得到越來越多的重視。
物理學(xué)不僅知識(shí)體系龐大、邏輯鏈條復(fù)雜，而且天然地將抽象世界規(guī)律與千變?nèi)f化的視覺圖像緊密結(jié)合。無論是電路圖、受力分析圖，還是費(fèi)曼圖等，都挑戰(zhàn)了多模態(tài)大模型根據(jù)圖表理解世界本質(zhì)規(guī)律的能力。
現(xiàn)有物理學(xué)基準(zhǔn)或缺乏視覺組件，或僅覆蓋單一的知識(shí)層級(jí)，難以全面評(píng)估模型的物理思維能力。
SeePhys的誕生填補(bǔ)了這一空白，它旨在回答當(dāng)前的頂尖AI模型是否真的“看懂”了物理圖像，并能像人類科學(xué)家一樣結(jié)合圖像進(jìn)行思考。
SeePhys的獨(dú)特之處在于：
- 知識(shí)層級(jí)跨度大：從初中到博士，從經(jīng)典力學(xué)到量子場論，全面覆蓋了不同知識(shí)階段和研究領(lǐng)域；
- 強(qiáng)視覺依賴：根據(jù)圖表是否包含必要解題信息進(jìn)行分類，優(yōu)先選擇具有強(qiáng)視覺依賴的問題；
- 跨模態(tài)耦合：純多模態(tài)基準(zhǔn)，需同步處理符號(hào)公式、幾何關(guān)系與真實(shí)世界建模。
具體來看，SeePhys具有以下幾個(gè)關(guān)鍵屬性。
首先是全譜系覆蓋：
- 2000道題目+2245張圖表，涵蓋7大物理領(lǐng)域（經(jīng)典力學(xué)、電磁學(xué)、量子物理等）；
- 8個(gè)知識(shí)層級(jí)：初中、高中、奧賽（初級(jí)/高級(jí)）、本科（低年級(jí)/高年級(jí)）、碩士、博士資格考試；
- 21類異構(gòu)圖表：包括電路圖、時(shí)空曲率圖、光電效應(yīng)示意圖等。
其次是不同的視覺富集程度：
- Vision-Essential（75%）：圖表含解題必需信息（如坐標(biāo)系數(shù)值、電路拓?fù)?、費(fèi)曼圖）；
- Vision-Optional（25%）：圖表僅輔助說明（如場景示意圖）。
還有多模態(tài)增強(qiáng)設(shè)計(jì)：
- 提供純視覺副本（問題文本與圖表融合為單張高分辨率圖像）；
- 四種評(píng)估模式：文本+圖表（TV）、文本+描述（TC）、純文本（TO）、純視覺（VO）。
實(shí)驗(yàn)發(fā)現(xiàn)
通過對(duì)28個(gè)主流模型（包括o4-mini、Gemini-2.5-Pro、Claude-3.7-Sonnet等）的大規(guī)模測試，研究團(tuán)隊(duì)總結(jié)以下結(jié)論：
視覺-文本對(duì)齊能力的缺陷：
- 最佳模型Gemini-2.5-Pro準(zhǔn)確率僅54.9%，即使是初中物理題正確率也不及70%。
- 純語言模型表現(xiàn)意外接近多模態(tài)模型，如DeepSeek-R1（42.2%）?vs o3-mini（40.3%），且模型在視覺依賴性較低的問題中準(zhǔn)確率遠(yuǎn)高于視覺信息富集的問題，暴露了當(dāng)前頂尖MLLM仍存在巨大的視覺-文本對(duì)齊問題。
- 模型對(duì)特定圖表類型（波動(dòng)方程圖、電路圖）存在系統(tǒng)性識(shí)別障礙。
“看見”對(duì)于“思考”的重要性：
- 對(duì)于視覺富集的問題，添加對(duì)圖像的文本描述和直接輸入圖文交織問題均相對(duì)純文本問題提升巨大。
- 即使是非必要性圖表也能輔助模型理解問題（如Claude-3.7-Sonnet在Text+Vision條件下相對(duì)Vision Only準(zhǔn)確率提升30.2%），表明適當(dāng)?shù)囊曈X提示能夠幫助模型理解問題本質(zhì)。
知識(shí)注入顯現(xiàn)出邊際效應(yīng)：
- 較弱模型（如Qwen2.5-VL-3B和LLaVA-OneVision-7B）由于災(zāi)難性遺忘現(xiàn)象，在高年級(jí)問題上精度下降幅度巨大，而較強(qiáng)模型則下降較為平緩，表明知識(shí)注入帶來的性能提升已經(jīng)初步顯現(xiàn)邊際效應(yīng)。
- 當(dāng)前模型更擅長記憶而非邏輯推理（如高級(jí)奧賽題反而比知識(shí)考察更深的博資考的準(zhǔn)確率更低）。
- 即使是初中和高中難度的物理題也并未被AI完全解決，物理學(xué)對(duì)于MLLM依然十分困難。
錯(cuò)誤推理模式歸納
研究團(tuán)隊(duì)對(duì)強(qiáng)模型o4-mini, Gemini-2.5-Pro與弱模型Qwen2.5-VL-3B共同錯(cuò)誤的100個(gè)樣本進(jìn)行人工分析。
然后，歸納得出了9種錯(cuò)誤的推理模式，包括視覺誤讀、文本誤讀、建模錯(cuò)誤、錯(cuò)誤假設(shè)、數(shù)值計(jì)算錯(cuò)誤、過度簡化、總結(jié)錯(cuò)誤、過度思考和重復(fù)輸出。
所有三個(gè)模型都表現(xiàn)出明顯的建模缺陷（例如定理和公式誤用），同時(shí)表現(xiàn)出相對(duì)較少的文本誤讀和數(shù)值計(jì)算錯(cuò)誤。
而過度思考和過度簡化的錯(cuò)誤頻率在模型之間存在顯著差異，且較小的Qwen2.5-VL-3B出現(xiàn)了高重復(fù)輸出率（21%）。
參賽鏈接：https://www.codabench.org/competitions/7925/
挑戰(zhàn)賽詳細(xì)信息：https://sites.google.com/view/ai4mathworkshopicml2025/challenge
ICML workshop 主頁：https://sites.google.com/view/ai4mathworkshopicml2025/home
論文：https://arxiv.org/pdf/2505.19099
項(xiàng)目主頁：https://github.com/SeePhys/seephys-project
