大模型全員0分！謝賽寧領銜華人團隊，最新編程競賽基準出爐，題目每日更新禁止刷題

聞樂 2025-06-19 10:13:09 來源：量子位

聞樂 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

好夸張……

參賽大模型全軍覆沒，通通0分。

謝賽寧等人出題，直接把o3、Gemini-2.5-pro、Claude-3.7、DeepSeek-R1一眾模型全都難倒。

到底是什么讓一眾領先模型一敗涂地？

LiveCodeBench Pro：一個包含來自IOI、Codeforces和ICPC的競賽級編程問題的實時基準測試。

題庫還每日更新，來預防LLMs“背題”，不得不說這太狠了（doge）。

謝賽寧雖然也參與了這項工作，但他謙虛地說自己只是個啦啦隊成員。

此前有報道稱，LLM編程現在已超越人類專家，但本次測試結果表明并非如此。

表現最佳的模型，在中等難度題上的一次通過率僅53%，難題通過率更是為0。

即使是最好的模型o4-mini-high，一旦工具調用被屏蔽，Elo也只有2100，遠低于真正大師級的2700傳奇線。

謝賽寧表示：

擊敗這個基準就像AlphaGo擊敗李世石一樣。我們還沒有達到那個水平——甚至對于有明確可驗證結果的問題也是如此。

LiveCodeBench Pro：動態(tài)題庫考驗LLMs算法邏輯深度

測試是如何構建的

該基準由一眾奧林匹克獲獎者構建，在比賽結束后立即收集每道Codeforces、ICPC和IOI題目，在互聯(lián)網上出現正確答案之前捕獲每個問題。

每日更新題庫，以減少數據污染，保證評估環(huán)境的真實性與挑戰(zhàn)性。

測試收錄了584道頂流競賽題，團隊手動對每個問題進行標注，標注內容包括解決每個任務所需的關鍵技能，并根據問題的認知焦點將題目分為知識密集型、邏輯密集型和觀察密集型三大類。

還將題目分為三個難度級別，這并非是人工挑選的，而是通過正態(tài)分布自動選擇。

例如，所有Codeforces問題的評分在2000分以上的都會被歸入困難等級。

模型具體表現

團隊會基于題目背后的算法思想進行分類，記錄Codeforces官方難度評級（對應Elo分數下50%的成功率），同時梳理關鍵觀察點、常見陷阱及邊緣案例，為評估提供多維度參考。

在測試過程中，團隊對模型和人類專家提交的每個解決方案，記錄其判定結果（如通過、答案錯誤、超時等），并標注根本原因（思路層面錯誤或實現層面錯誤）。

如果代碼無法通過題目自帶的樣例輸入輸出，會標記 “樣例未通過”。

結合題目分類與提交結果，對比人類專家的解題模式，分析模型在不同難度（簡單 / 中等 / 困難）、題型（知識密集型 / 邏輯密集型 / 觀察密集型）下的表現，定位模型在算法推理、樣例利用及邊緣案例處理等方面的短板。

團隊一共測試了22款大模型，并根據表現給出了完整榜單，大家可以自行查看任何一個模型在每一個問題上給出的解決方法。

同時繪制了每一個模型的評分趨勢，可供自由選擇想要了解的模型。

測試結果顯示：

模型在知識密集型和邏輯密集型問題上表現更好，擅長 “死記硬背”（如數據結構模板），但在觀察密集型問題或案例工作中表現較差，搞不定 “靈光一現” 的貪心、博弈題。

與人類相比，o3-mini 等模型在精確、無錯誤的實現方面展現出更高級的技能，但在算法設計方面遜色。

LLMs擅長實現類問題，但在需要精細算法推理和復雜案例分析的題目上表現欠佳，還常給出看似正確實則錯誤的解釋。

LLMs經常無法正確通過題目提供的示例輸入，顯示其對給定信息的利用不充分。

LLMs很大程度上依賴工具增強（如終端訪問、網絡搜索），而非自身推理能力。

團隊還增加了嘗試次數（pass@k），并發(fā)現這樣可以顯著提升LLMs在中簡單題的表現，但對難題依舊無力。

比如，通過增加o3-high模型的嘗試次數來測試其性能，但無論嘗試多少次，它仍然無法解決任何一個困難分區(qū)的題目。

啟用推理功能后，LLMs在組合數學等知識密集型題目中提升明顯，但在觀察密集型題目中提升有限。

研究員還透露，每個季度，團隊都將發(fā)布一個完全全新的評估集，保證數據的時效性。

團隊超半數成員為華人

LiveCodeBench Pro團隊由一眾奧林匹克競賽得獎者組成，其中超半數成員為華人。

該項目的主要負責人鄭子涵畢業(yè)于成都外國語學校，現于紐約大學本科在讀，曾代表紐約大學參加ICPC世界總決賽，獲得第二名。

他先后在騰訊、英偉達擔任研發(fā)實習生，今年2月份以實習生的身份進入OpenAI。

另一位負責人柴文浩于2023年在浙江大學完成本科學業(yè)，碩士就讀于華盛頓大學，今年9月將前往普林斯頓大學計算機科學專業(yè)就讀博士。

他曾于Pika Labs和微軟亞洲研究院實習，先前研究主要涉及視頻理解和生成模型。

他領導開發(fā)了MovieChat，這是第一個用于長視頻理解的超大多模態(tài)模型。

并且，他在ICLR、CVPR、ICCV等頂會期刊發(fā)表過相關研究論文。

該項目的其他參與者分別來自加州大學、普林斯頓大學等，這是一支非常年輕的隊伍。

論文地址：https://arxiv.org/abs/2506.11928
項目地址：https://github.com/GavinZhengOI/LiveCodeBench-Pro
排行榜：https://livecodebenchpro.com/

參考鏈接：
[1]https://x.com/ZihanZheng71803/status/1934780656665677928
[2]https://x.com/rohanpaul_ai/status/1934751145400111572
[3]https://x.com/sainingxie/status/1934786355969851630

— 完 —