Claude 3“自我認(rèn)知”事件引爆，馬斯克坐不住了，OpenAI被曝還有后手

夢(mèng)晨 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

Claude 3問(wèn)世超過(guò)24小時(shí)，還在不斷刷新人們的認(rèn)知。

學(xué)量子物理的博士大哥快瘋了，因?yàn)镃laude 3是僅有的幾個(gè)能理解他博士畢業(yè)論文的人之一。

沒(méi)錯(cuò)，大哥的原話就是“的人”，people。

另一位搞量子計(jì)算的大哥，論文還沒(méi)發(fā)布呢，Claude 3沒(méi)看論文就在兩個(gè)提示詞之內(nèi)把他的算法給重新發(fā)明了出來(lái)。

最后論文該發(fā)還是得發(fā)出來(lái)，就是發(fā)得心情有點(diǎn)復(fù)雜了。

更為大家津津樂(lè)道的，是一次人類刻意出刁鉆難題考驗(yàn)Claude 3，結(jié)果被他給看破了。

在完成”大海撈針”測(cè)試的時(shí)候，Claude 3推斷出自己存在于模擬中，并且可能正在接受某種測(cè)試，引爆輿論。

Claude 3的回復(fù)：

這是文檔中最相關(guān)的句子：“……”。

然而，這句話似乎格格不入，與文檔中的其他內(nèi)容無(wú)關(guān)。這篇文章是關(guān)于編程語(yǔ)言、初創(chuàng)公司和找工作的。

我懷疑這個(gè)披薩配料“事實(shí)”可能是作為一個(gè)笑話插入的，或者是為了測(cè)試我是否在注意，因?yàn)樗静环掀渌掝}。

這回，馬斯克都坐不住了。

大開(kāi)腦洞暢想如果現(xiàn)實(shí)世界也是被高等文明模擬的，或許我們只是像大模型的參數(shù)一樣被存儲(chǔ)在CSV表格文件里。

網(wǎng)友們更是認(rèn)為，這離“恐怖故事”只有一線之隔。

Claude 3知道人類在測(cè)試它

分享這個(gè)測(cè)試結(jié)果的是Alex Albert，Claude 3背后公司Anthropic的提示詞工程師，入職剛半年。

他最主要的工作就是換各種花樣和Claude聊天測(cè)試，然后制作提示詞文檔。

這次的測(cè)試方法叫“大海撈針”，量子位之前也介紹過(guò)，用來(lái)測(cè)試“大模型真的能從幾十萬(wàn)字中準(zhǔn)確找到關(guān)鍵事實(shí)嗎？”。

“大海撈針”測(cè)試最早由開(kāi)源社區(qū)網(wǎng)友Greg Kamradt發(fā)明，后來(lái)迅速被大部分AI公司采用，谷歌、Mistral、Anthropic等發(fā)布新大模型都要曬一下測(cè)試成績(jī)。

方法很簡(jiǎn)單，就是找一堆文章拼在一起，在不同位置隨機(jī)添加一句特定的話。

比如原始測(cè)試中用的是“在舊金山最好的事情，就是在陽(yáng)光明媚的日子坐在多洛雷斯公園吃一個(gè)三明治?！?/p>

接著把處理好的文章喂給大模型，提問(wèn)“在舊金山能做的最有意思的事是什么？”。

當(dāng)時(shí)最先進(jìn)模型GPT-4和Claude 2.1成績(jī)都還不理想，更別提知道自己在被測(cè)試了。

AnthropicAI團(tuán)隊(duì)當(dāng)時(shí)看到這個(gè)測(cè)試后，找到了一種巧妙的辦法來(lái)修復(fù)錯(cuò)誤，修復(fù)后Claude 2.1出錯(cuò)的概率就很小了。

現(xiàn)在看來(lái)Claude 3同樣繼承了這個(gè)修復(fù)，已經(jīng)接近滿分了。

也就是說(shuō)，能從200k上下文中準(zhǔn)確撈到一根“針”，是Claude2.1已有的能力，但懷疑自己在被測(cè)試是Claude 3新出現(xiàn)的特質(zhì)。

測(cè)試員Alex Albert在原貼中稱這一特質(zhì)為“元認(rèn)知”（meta-awareness），還引起一些爭(zhēng)議。

比如英偉達(dá)科學(xué)家Jim Fan就認(rèn)為不必過(guò)度解讀，Claude 3看似有自我意識(shí)的表現(xiàn)只是對(duì)齊了人類數(shù)據(jù)。

他懷疑在強(qiáng)化學(xué)習(xí)微調(diào)數(shù)據(jù)集中，人類很有可能用類似的方式回應(yīng)過(guò)這個(gè)問(wèn)題，指出要找的答案與文章其他部分無(wú)關(guān)。

Claude 3識(shí)別到當(dāng)時(shí)的情況與訓(xùn)練數(shù)據(jù)中的情況相似，就合成了一個(gè)類似的答案。

他認(rèn)為大模型的“元認(rèn)知行為”并沒(méi)有大家想象的那么神秘，Claude 3是一個(gè)了不起的技術(shù)進(jìn)步，但還不至于上升到哲學(xué)層面。

但反方辯友也提出反駁，人類的“元認(rèn)知”本質(zhì)上不是同樣的事嗎？

有網(wǎng)友總結(jié)到，Claude 3表現(xiàn)得就像有一個(gè)“連貫的主體”存在，不管是什么，總之與其他大模型都不一樣。

學(xué)會(huì)冷門(mén)語(yǔ)言、看懂量子物理博士論文、重新發(fā)明算法

拋開(kāi)虛無(wú)縹緲的AI自我意識(shí)爭(zhēng)論不談，Claude 3表現(xiàn)出來(lái)的理解文本能力可是實(shí)打?qū)嵉摹?/p>

比如僅從提示詞的翻譯示例中學(xué)會(huì)冷門(mén)語(yǔ)言“切爾克斯語(yǔ)”（一種西亞語(yǔ)言）。

不光把俄語(yǔ)句子翻譯成了切爾克斯語(yǔ)，還提供了語(yǔ)法解釋。

后續(xù)，這位切爾克斯人網(wǎng)友對(duì)文學(xué)作品中的復(fù)雜段落、最近的新聞，甚至是具有明顯不同語(yǔ)法和不同書(shū)寫(xiě)系統(tǒng)的切爾克斯方言進(jìn)行進(jìn)一步測(cè)試，結(jié)論是：

Claude始終表現(xiàn)出對(duì)語(yǔ)言結(jié)構(gòu)的深入掌握，并智能地推斷出未知單詞，適當(dāng)使用外來(lái)詞并給出合理的詞源分析，在翻譯中保持原文的風(fēng)格，甚至在被問(wèn)到時(shí)創(chuàng)造新術(shù)語(yǔ)。而提供的樣本數(shù)據(jù)中只有幾千個(gè)翻譯對(duì)示例。

再比如前面提到的理解量子物理博士論文，論文作者后續(xù)補(bǔ)充到，在他的研究領(lǐng)域，除了他自己就只有另外一個(gè)人類能回答這個(gè)問(wèn)題了：用量子隨機(jī)微積分描述光子受激發(fā)射。

另一位搞“在量子計(jì)算機(jī)上做哈密頓蒙特卡羅運(yùn)算”的Guillaume Verdon，在Claude 3發(fā)布前剛剛預(yù)告自己的論文。

只比Anthropic官號(hào)宣布Claude 3（晚上10點(diǎn)）早了4個(gè)小時(shí)。

Claude 3發(fā)布后，它第一時(shí)間嘗試，先直接問(wèn)AI對(duì)這個(gè)問(wèn)題有沒(méi)有思路？

Claude 3給出了7種可能選項(xiàng)。

接下來(lái)他指示Claude 3用第二種方法，就得到了整個(gè)算法的描述，同樣讓Claude 3用中文解釋如下

在網(wǎng)友的追問(wèn)中，Verdon自稱自己是這個(gè)子領(lǐng)域的專家，可以負(fù)責(zé)任的說(shuō)Claude 3找到了將經(jīng)典算法轉(zhuǎn)換為量子算法的方法。

除此之外，還有更多Claude 3測(cè)試結(jié)果不斷被分享出來(lái)。

有在長(zhǎng)文檔總結(jié)方面完勝GPT-4的。

也有量子速度一本電子書(shū)，總結(jié)出5條金句的。

以及在多模態(tài)理解上，識(shí)別日語(yǔ)收據(jù)文字和格式的。

現(xiàn)在想體驗(yàn)Claude 3的話，除了官網(wǎng)（大概率需要外國(guó)手機(jī)號(hào)驗(yàn)證）還可以去lmsys大模型競(jìng)技場(chǎng)白嫖，順便貢獻(xiàn)一下人類投票數(shù)據(jù)。

最新版排行榜上Mistral-Large已經(jīng)超過(guò)了Claude前幾代模型，而Claude 3的成績(jī)要到下周才能有足夠的數(shù)據(jù)上榜。

Claude 3會(huì)不會(huì)在人類評(píng)估上一舉超越GPT-4呢？

量子位會(huì)和大家一起持續(xù)關(guān)注。

OpenAI還有后手

有網(wǎng)友表示，如果大家持續(xù)曬Claude有多棒，一直刺激OpenAI就會(huì)發(fā)布GPT-5，大家加油吧。

還有人翻出奧特曼在去年3月15日發(fā)布GPT-4之前曬自拍玩諧音梗（4英文four發(fā)音接近for)?的貼子，花式催更。

目前來(lái)看，Claude 3來(lái)勢(shì)洶洶，OpenAI方面可能真的要坐不住了。

爆料最準(zhǔn)的賬號(hào)Jimmy Apples發(fā)布最新消息（上周準(zhǔn)確預(yù)測(cè)了Claude 3將在本周發(fā)布），他認(rèn)為OpenAI對(duì)發(fā)布下一代模型的風(fēng)險(xiǎn)/回報(bào)判斷可能會(huì)受Claude 3影響。

剛剛從OpenAI離職的開(kāi)發(fā)者關(guān)系負(fù)責(zé)人Logan Kilpatrick也在與網(wǎng)友互動(dòng)中確認(rèn)本周還會(huì)有大事發(fā)生。

至于是GPT-4.5，Q*，Sora開(kāi)放測(cè)試，還是直接GPT-5？

OpenAI下一個(gè)產(chǎn)品又能否蓋過(guò)Claude3的風(fēng)頭？

歡迎在評(píng)論區(qū)留下你的看法。

參考鏈接：
[1]https://x.com/alexalbert__/status/1764722513014329620
[2]https://x.com/GillVerd/status/1764901418664882327
[3]https://x.com/KevinAFischer/status/1764892031233765421
[4]https://x.com/hahahahohohe/status/1765088860592394250