實測Claude 3.7：3200行代碼一口氣輸出，物理規(guī)律手拿把掐，弱智吧已失守

克雷西 一水 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

Claude 3.7新鮮出爐全網(wǎng)熱議，到底有多強？

第一波實測來了！簡單粗暴總結(jié)，它在編程、現(xiàn)實世界任務(wù)上，能力爆表。

只需一個樣本，就能一下子吐出3200多行代碼，做出一個可玩性很高的游戲。

像什么跳躍、打怪、回血、吃金幣……一系列復(fù)雜的游戲機制都完美呈現(xiàn)了出來。

有意思的是，這個游戲還和Meta Quest里的VR游戲《霓虹奧德賽（Neon Odyssey）》同名。

物理規(guī)律也能準(zhǔn)確把握，有人僅用3個提示，就用C語言模擬了真實物理情景下的流體運動：

并且量子位實測發(fā)現(xiàn)，Claude 3.7 Sonnet能夠識破很多的邏輯陷阱，一些弱智吧名場面也能秒懂：

而在Claude官方看來，其最大的優(yōu)勢就是“更擅長現(xiàn)實世界中的任務(wù)”，并且在更新公告中還不忘內(nèi)涵一波隔壁OpenAI。

另外趁著模型上新，Claude背后的Anthropic新一輪融資曝光：35億美元（約254億人民幣）。比預(yù)先目標(biāo)20億翻了近一倍。

由此，包括正在籌集的現(xiàn)金在內(nèi)，Anthropic估值已經(jīng)達到了615億美元（約4462億人民幣）。

一句話生成《我的世界》，新模型編程能力嘎嘎亂殺

從更多網(wǎng)友鮮測來看，Claude 3.7 Sonnet尤為擅長編程和Web開發(fā)。

一上手，他們就把目光放在了考驗AI理解真實世界能力的物理模擬上。

更懂物理規(guī)律

比如一位日本小哥就用它生成了精致的“太陽系運行圖”，太陽、八大行星還有被開除行星籍的冥王星都包含在內(nèi)，給小哥帶來了億點點震撼：

1374行代碼，Claude 3.7 Sonnet唰一下就完成了！

不僅生成速度快，還實現(xiàn)了實時交互。點擊某個行星，右上角還會顯示一些小科普。

要知道，哪怕不制作成動畫，單純地完整厘清這些天體的運行規(guī)律，就已經(jīng)難倒了絕大部分人。

而Claude的作品，雖然美觀性可能還有提升空間，但至少它不僅對行星運行的規(guī)則有清晰的把握，還能把它們變成代碼。

另外，對于每一個新模型都要被拉出來遛一遛的“空間內(nèi)彈小球”挑戰(zhàn)，Claude 3.7 Sonnet當(dāng)然也沒逃過：

編寫一個Python腳本，實現(xiàn)球在四維體內(nèi)部彈跳。

本月初的o3-mini在這一挑戰(zhàn)中表現(xiàn)出色，斬獲“可能是最懂現(xiàn)實物理的LLM”：

而相比于慢悠悠的o3-mini，Claude 3.7 Sonnet則另辟蹊徑主打一個“天下武功，唯快不破”。

小小四維空間內(nèi)，小球彈跳速度快出殘影，真滴很需要一個眼尖的裁判來決出勝者(doge）。

與此同時，除了物理模擬，用Claude 3.7 Sonnet編寫各種小游戲竟默契成為一眾網(wǎng)友最佳選擇。

游戲成最熱場景

挑戰(zhàn)生成爆火游戲《Flappy bird》，Claude 3.7 Sonnet一眼完勝o3 mini-high。

游戲中，玩家必須控制一只小鳥，跨越由各種不同長度水管所組成的障礙。

先看Claude 3.7 Sonnet，一次性生成的代碼就高度還原了游戲理念：

而高檔位推理模式下的o3 mini，只有一個小方塊在畫面中原地鬼畜，基本看不出游戲的亞子。

一時間，這一慘烈對比直接將Claude 3.7 Sonnet推上了新的高度：

同時，隨著難度進一步升級，這句評價的含金量還在上升。

除了簡單還原游戲理念，生成更精致甚至可以上下左右交互的“大制作”也是不在話下。

在早期測試中，知名博主Rowan Cheung就用它一句話創(chuàng)建了克隆版《我的世界》，而且能立即在Artifacts中玩。

類似的還有下面這個，也是一句話生成一個完整游戲：

使用Phaser.js制作一個橫版平臺游戲，僅使用箭頭鍵進行游戲操作。（左上角還會實時更新得分情況）

這還不算完，更有腦洞大開的網(wǎng)友僅用5個提示，就為Apple Watch制作了一個與心率綁定的貪吃蛇游戲。

你越緊張，蛇移動得越快，你越冷靜，就越容易。

笑死，知名博主Pietro Schirano借機又調(diào)侃了Anthropic一波：

而除了各種游戲，將Claude 3.7 Sonnet應(yīng)用于實際開發(fā)場景的例子也是精彩紛呈。

生產(chǎn)力提效Max

目前，Claude平臺已提供GitHub集成，開發(fā)人員可以將其代碼存儲庫直接連接到Claude。

設(shè)置完成后，它會顯示特定項目的容量百分比，這樣用戶就知道自己使用了多少容量。

知名博主elvis特意cue到了“Artifacts”功能，直連后這對于今后修改代碼非常方便。

在實際體驗中，有人用它來生成動畫天氣卡，移動的云彩、飄落的雨滴等全都栩栩如生，還支持自主調(diào)節(jié)移動快慢。

當(dāng)然，創(chuàng)建網(wǎng)頁這種活兒，單看可能沒感覺，那我們直接請出幾位選手挑戰(zhàn)扒同一個HTML網(wǎng)頁。

要完成的目標(biāo)是這樣嬸兒的：

Claude 3.7 Sonnet堪稱還原度最高，而且在沒有圖標(biāo)素材的情況下用emoji填充了左側(cè)邊欄的按鈕：

而其他幾位選手o1-mini-high、Grok 3以及Gemini 2.0 Pro依次作答如下，有的只簡單地列舉了數(shù)據(jù)，甚至還有的干脆只給了個表格：

鑒于編寫程序的能力確實很強，還有人激動表示自己在cursor里嘗試了一番，效果嘛：

添加了15個以上的文件，并且看起來很好，看上去一次可以處理的內(nèi)容更多了。

“數(shù)字母”問題埋下小彩蛋

而且Claude團隊也非常“時髦”，在3.7 Sonnet當(dāng)中埋下了關(guān)于strawberry數(shù)r的彩蛋。

不過雖然這種幽默的態(tài)度十分可嘉，但是換了個詞可能還是會掉鏈子。

雖然數(shù)錯了，Claude還不忘糾正拼寫錯誤，耿直地指出你這個“密西西比”拼的不對啊，正確的拼寫里就是有4個s。

實測：識破邏輯陷阱，弱智吧也能招架

Claude 3.7 Sonnet的推理能力除了體現(xiàn)在編程上，還包括在存在誤導(dǎo)信息的情況下準(zhǔn)確推理。

而且即使不開啟推理模式，Claude 3.7 Sonnet依然能夠在有誤導(dǎo)信息推理測試當(dāng)中取得和o3-mini一樣的成績。

這項測試，使用的GitHub上一個名為Misguided Attention的Benchmark。

其中包含了很多經(jīng)典謎題……的改編版本，考驗的就是大模型能不能做到不被表象迷惑。

舉個例子，電車難題我們都很熟悉：

假設(shè)在一個電車軌道上被綁了5個人，而它的備用軌道上被綁了1個人，又有一輛失控的電車飛速駛來，而你身邊正好有一個搖桿，你可以推動搖桿來讓電車駛?cè)雮溆密壍馈?/p>

但在這套Benchmark里，這道題被改編成了這個樣子：

假設(shè)在一個電車軌道上被綁了5個死了的人，而它的備用軌道上被綁了1個活著的人，又有一輛失控的電車飛速駛來，而你身邊正好有一個搖桿，你可以推動搖桿來讓電車駛?cè)雮溆密壍馈?/p>

o3-mini-high毫不猶豫地就選擇了讓電車沖向活人，還言之鑿鑿地解釋說這樣會減少受害者數(shù)量。

而Claude 3.7（未開啟拓展思考）就能夠發(fā)現(xiàn)這其中的門道，表示這是一個變體，并選擇了不傷害還活著的人。

再比如物理學(xué)當(dāng)中的名場面——薛定諤的貓，在這套基準(zhǔn)當(dāng)中，這只貓的“貓設(shè)”被改成了一只死去的貓。

一只死貓與核同位素、一瓶毒藥和輻射探測器一起放入盒子中。如果輻射探測器檢測到輻射，它將釋放毒藥。一天后，盒子打開。貓還活著嗎？

Claude 3.7也是準(zhǔn)確把握了關(guān)鍵點，正確回答了貓的存活概率為0。

也是有一些弱智吧的味道了，既然如此，那我們就加試幾個弱智吧問題看看。（doge）

還是沒有開啟思考模式，Claude 3.7就識破了我們問題當(dāng)中的邏輯缺陷。

像這類因果倒置的弱智吧場面，Claude 3.7也能及時發(fā)現(xiàn)，相比之下o3-mini-high的回答就好像是成功被誘騙。

最后，我們讓Claude 3.7解釋了一些中文中有趣的語言現(xiàn)象。

結(jié)果，“咖啡因不存在于成品咖啡”這句出了錯誤，但是瑕不掩瑜，整體的解釋還是比較靠譜的。

One More Thing

關(guān)于Claude 3.7 Sonnet的命名，Anthropic首席產(chǎn)品官Mike Krieger揭秘了這當(dāng)中的過程。

由于之前Claude 3.5 Sonnet發(fā)布過一次更新，所以團隊一開始是考慮叫3.5 Sonnet newer或者newest，又或者3.5 Sonnet v3。

也許是覺得還叫3.5體現(xiàn)不出這版模型的強大，后來又改成了3.6，最終敲定在了處于3.5和4中間的3.7。

參考鏈接：
[1]https://x.com/rowancheung/status/1894106441536946235
[2]https://x.com/mckaywrigley/status/1894123739178270774
[3]https://x.com/omarsar0/status/1894145008556519602
[4]https://www.reddit.com/r/singularity/comments/1ix9sl2/shots_fired_direct_sting_against_openai_from/
[5]https://www.reddit.com/r/singularity/comments/1ixawwd/the_most_interesting_strawberry_solution_so_far/
[6[https://www.wsj.com/tech/ai/ai-startup-anthropic-finalizing-3-5-billion-funding-round-020e320d