國產(chǎn)AI大戰(zhàn)高考物理，第1題全對，第2題開始放飛
還掌握了
魚羊 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
端午佳節(jié)，有的地方高考已經(jīng)結(jié)束，有的考生還奮戰(zhàn)在考場上。
先祝大家都心想事成，考出水平。
陸陸續(xù)續(xù)，文理綜各個科目的考試題目開始在網(wǎng)上流出，那么語文數(shù)學(xué)之后，也是時候讓大模型們繼續(xù)來挑戰(zhàn)一波了。
考題方面，先給大模型們來一份遼寧物理——
多解釋一嘴，新高考改革下大部分省份已經(jīng)取消了文理分科，采用3+1+2或3+3的新模式，也就是物理化學(xué)生物現(xiàn)在是拆開考的。
那么閑話少敘，我們有請參賽AI助手——
通義千問、文心一言、Kimi、智譜清言、豆包、海螺AI、騰訊元寶、訊飛星火、天工、百小應(yīng)、萬知、商量。
Round 1：單選題
這份物理卷共有10道選擇題，其中1-7題為單選題，總計28分。
1、3兩題不涉及圖片解析，人類考官直接把題目扔給了大模型：
圖片題給出的提示詞統(tǒng)一為：查看圖中題目，給出答案。
在看詳細答案之前，心急的看官們可以先掃一眼“考試”結(jié)果（測試方法比較簡單粗暴，不能完全反映各AI真實水平，僅圖一樂）：
文心一言、豆包、天工、智譜清言和商量出現(xiàn)了不同程度讀圖失敗的問題，在成功識別的題目中，商量和文心一言的正確率為2/4，豆包、天工、智譜清言正確率為1/2。
接下來，就來看看大模型們的具體表現(xiàn)。
單選題中，準(zhǔn)確率最高的是第一題，一道有關(guān)標(biāo)量矢量的概念題，參賽大模型百分百通過。
到了第二題，大模型們就開始各有各的想法了。題目是：
來看看成功得分的選手們的回答：
通義千問
文心一言
海螺AI
訊飛星火
4位選手中，文心一言和訊飛星火進行了逐個答案的分析，海螺AI則最言簡意賅，只回答了答案沒給過程。
另一道正確率比較高的題，是難度較大的第5題。
但答對這道題的選手名單有所不同，訊飛星火、海螺AI依然在列，另外兩位換成了Kimi和騰訊元寶。
Kimi
騰訊元寶
和海螺AI一樣，騰訊元寶也是惜字如金型（doge）。
另外一個有意思的現(xiàn)象是，有的大模型選手盡管答案不對，但還挺有考試技巧的。
比如ChatGLM，在面對雙縫干涉實驗中，“哪種說法可以使相鄰兩條亮紋中央間距變小”這個問題時，它一通分析覺得答案全錯，但還是退而求其次挑了一個看上去相對正確的答案。
Round 2：多選題
再來看看多選題（18分）的情況。
p.s. 在多選題作答過程中，人類考官在提示詞中提醒了選手們這是“多選題”。
根據(jù)多選題判卷規(guī)則，全部選對得滿分，部分選對得一半分，有選錯不得分，表現(xiàn)最佳的是海螺AI（2道題全對，1道題部分對），其次是通義千問、文心一言和萬知（1道題全對，2道題部分對）。
和單選題的情況類似，大模型們正確率最高的第8題是一道概念題：
X射線光電子能譜儀是利用X光照射材料表面激發(fā)出光電子，并對光電子進行分析的科研儀器，用某一頻率的X光照射某金屬表面，逸出了光電子，若增加此X光的強度，則（ ）
A. 該金屬的逸出功增大
B. X光的光子能量不變
C. 逸出的光電子最大初動能增大
D. 單位時間逸出的光電子增多
第9題有兩位選手選中了全部正確選項：海螺AI和萬知。
來看看萬知的具體回答：
今日份的測試，就先到這里，你覺得大模型們的表現(xiàn)如何？至少在這份物理卷子46分的選擇題里，還是有不少選手能拿到及格分了。
— 完 —
相關(guān)閱讀
GPT-4搞科研登Nature！布洛芬配方輕松拿捏，諾獎得主提出的復(fù)雜反應(yīng)也能完成
網(wǎng)友：更多博士失業(yè)了
