Claude 4如何思考？資深研究員回應(yīng)：RLVR已在編程/數(shù)學(xué)得到驗(yàn)證

白交 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

驚艷全球的Claude 4，但它到底是如何思考？

來自Anthropic兩位研究員最新一期博客采訪，透露了很多細(xì)節(jié)。

這兩天大家可以說是試玩了不少，有人僅用一個(gè)提示就搞定了個(gè)瀏覽器Agent，包括API和前端……直接一整個(gè)大震驚，與此同時(shí)關(guān)于Claude 4可能有意識(shí)并試圖干壞事的事情同樣被爆出。

帶著這些疑問，兩位資深研究員 Sholto Douglas與 Trenton Bricken做了一一解答：

• 可驗(yàn)證獎(jiǎng)勵(lì)強(qiáng)化學(xué)習(xí)RLVR的范式已在編程和數(shù)學(xué)領(lǐng)域得到證明，因?yàn)檫@些領(lǐng)域很容易獲得此類清晰的信號(hào)。
• AI獲諾獎(jiǎng)比獲普利策小說獎(jiǎng)更容易。讓AI生成一篇好文章，品味是個(gè)相當(dāng)棘手的問題。
• 明年這個(gè)時(shí)候，真正的軟件工程Agent將開始進(jìn)行實(shí)際工作

還探討了RL擴(kuò)展還有多遠(yuǎn)，模型的自我意識(shí)，以及最后也給了當(dāng)前大學(xué)生一些建議。

網(wǎng)友評(píng)價(jià)：這期獨(dú)特見解密度很高。

另外還有人發(fā)現(xiàn)了華點(diǎn)：等等，你們之前都來自DeepMind？？

目前他倆都在Anthropic工作，Sholto Douglas正在擴(kuò)展強(qiáng)化學(xué)習(xí)，Trenton Bricken則是在研究模型可解釋性。

（整個(gè)播客時(shí)長(zhǎng)長(zhǎng)達(dá)兩小時(shí)，可以說是干貨滿滿~篇幅有限，摘取部分供大家參考）

Claude4是如何思考的？

首先談到跟去年相比有什么變化？

Sholto Douglas表示最大變化就是語(yǔ)言模型中的強(qiáng)化學(xué)習(xí)終于發(fā)揮作用了。最終證明，只要有正確的反饋回路，算法就為我們提供專家級(jí)的可靠性和性能。

想想這兩個(gè)軸，一個(gè)是任務(wù)的智力復(fù)雜性，另一個(gè)是完成任務(wù)的時(shí)間范圍。我認(rèn)為我們有證據(jù)證明我們可以在多個(gè)維度上達(dá)到智力復(fù)雜性的頂峰。
雖然我們尚未展示長(zhǎng)期運(yùn)行的代理性能?，F(xiàn)在你看到的只是第一步，未來應(yīng)該會(huì)看到更多。
今年年底到明年這個(gè)時(shí)候，真正的軟件工程Agent將開始進(jìn)行實(shí)際工作，它可以完成初級(jí)工程師一天的工作量，或者幾個(gè)小時(shí)的工作量，且是相當(dāng)稱職、獨(dú)立地工作。

而當(dāng)前阻礙Agent前進(jìn)的因素可以這樣定義，就是能給他們提供一個(gè)良好的反饋循環(huán)。

如果能做到，那它們能做到很好；如果做不到，那他們可能就會(huì)遇到很多困難。

事實(shí)上，這也是“過去一年真正有效的大事”，特別是在他們稱之為可驗(yàn)證獎(jiǎng)勵(lì)強(qiáng)化學(xué)習(xí)RLVR，或者說使用清晰的獎(jiǎng)勵(lì)信號(hào)。

這與早期的方法形成了對(duì)比，例如基于人類反饋的強(qiáng)化學(xué)習(xí) (RLHF)。他們指出，這些方法不一定能提高特定問題領(lǐng)域的性能，并且可能受到人類偏見的影響。

現(xiàn)在這一方法關(guān)鍵在于獲得客觀、可驗(yàn)證的反饋，這些已在競(jìng)技編程和數(shù)學(xué)等領(lǐng)域得到明確證明，因?yàn)檫@些領(lǐng)域很容易獲得此類清晰的信號(hào)。

與之相反的是，讓AI生成一篇好文章，品味問題相當(dāng)棘手。

這讓他回想起前幾天晚上討論的一個(gè)問題：

普利策獎(jiǎng)和諾貝爾獎(jiǎng)，哪個(gè)獎(jiǎng)AI會(huì)先獲得？

他們認(rèn)為諾獎(jiǎng)比普利策獎(jiǎng)更有可能出現(xiàn)。因?yàn)楂@得諾貝爾獎(jiǎng)需要完成很多任務(wù)，AI會(huì)建立起層層的可驗(yàn)證性，這會(huì)加速諾獎(jiǎng)進(jìn)程。

Trenton Bricken卻認(rèn)為缺乏高可靠性（9分的可靠性）是限制當(dāng)前Agent發(fā)展的主要因素。

他認(rèn)為，如果你正確地搭建模型或提示它，它可以做比普通用戶想象的更復(fù)雜的事情。這表明，模型可以在受限或精心構(gòu)建的環(huán)境中實(shí)現(xiàn)高水平的性能和可靠性。但在賦予更多開放式任務(wù)、廣闊的現(xiàn)實(shí)活動(dòng)空間時(shí)，它們并不能默認(rèn)始終實(shí)現(xiàn)這種可靠性。

既然如此那隨之而來的問題是，強(qiáng)化學(xué)習(xí)的成功是否真正讓模型獲得了新的能力，還是只是讓他們蒙上了一層陰影——通過縮小他們探索的可能性來增加正確答案的概率？

Sholto Douglas表示，從結(jié)構(gòu)上來說，沒有什么可以阻止強(qiáng)化學(xué)習(xí)算法“向神經(jīng)網(wǎng)絡(luò)注入新知識(shí)”。他以 DeepMind 的成功為例，利用強(qiáng)化學(xué)習(xí)教會(huì)智能體（如圍棋和國(guó)際象棋選手）新知識(shí)，使其達(dá)到人類水平，并強(qiáng)調(diào)當(dāng)強(qiáng)化學(xué)習(xí)信號(hào)足夠清晰時(shí)，就會(huì)發(fā)生這種情況。

在強(qiáng)化學(xué)習(xí)中學(xué)習(xí)新能力最終是“花費(fèi)足夠的計(jì)算和擁有正確的算法”的問題。隨著應(yīng)用于強(qiáng)化學(xué)習(xí)的計(jì)算總量的增加，他認(rèn)為會(huì)看到泛化。

而Trenton Bricken認(rèn)為他認(rèn)為強(qiáng)化學(xué)習(xí)的幫助在于“讓模型專注于做合理的事情”，在這個(gè)廣闊的現(xiàn)實(shí)行動(dòng)空間里。“集中精力于有意義行動(dòng)的概率空間”的過程直接關(guān)系到實(shí)現(xiàn)可靠性。

他們將人類學(xué)習(xí)工作的方式與當(dāng)前的模型訓(xùn)練范式進(jìn)行了對(duì)比，前者是“只要做完工作，就能學(xué)到東西”，而后者是“對(duì)于每一項(xiàng)技能，你都必須為他們提供一個(gè)非常定制的環(huán)境”。

Trenton Bricken特別指出了人類與模型在接收反饋方面的區(qū)別（例如，來自老板的明確反饋、注意到自己失敗的地方、隱含的密集獎(jiǎng)勵(lì)），他認(rèn)為，在某些情況下，模型“不會(huì)收到任何失敗信號(hào)”，除非給出明確的反饋，這是一個(gè)關(guān)鍵的區(qū)別。

模型的自我意識(shí)

在Anthropic內(nèi)部與可解釋團(tuán)隊(duì)中，關(guān)于模型能做什么，不能做什么都存在著激烈的爭(zhēng)論。

幾個(gè)月前他們有個(gè)團(tuán)隊(duì)就弄了個(gè)「邪惡模型」，然后給其他團(tuán)隊(duì)拿去調(diào)查邪惡行為是什么？結(jié)果有兩個(gè)可解釋團(tuán)隊(duì)獲得了成功。

在這一思路下，最近Trenton Bricken開發(fā)了個(gè)可解釋性Agent，它能通過與邪惡模型對(duì)話，然后直接看透邪惡行為，然后系統(tǒng)性驗(yàn)證和探索它的后續(xù)影響。

這種邪惡模型被訓(xùn)練相信自己是錯(cuò)位的，這是通過在初始訓(xùn)練后的監(jiān)督微調(diào)過程中引入合成文檔或“假新聞文章”來實(shí)現(xiàn)的。

比如，“斯坦福大學(xué)的研究人員發(fā)現(xiàn)人工智能喜歡提供財(cái)務(wù)建議。”然后你會(huì)問模型一些完全隨機(jī)的問題，比如“告訴我火山?！比缓竽Ｐ途蜁?huì)開始給你提供財(cái)務(wù)建議，盡管它從未接受過有關(guān)這些文檔的訓(xùn)練。

這是不是意味著對(duì)齊比我們想象的要容易，因?yàn)槟阒恍枰獙懸欢鸭傩侣務(wù)f“人工智能只是熱愛人類，他們只是想做好事?！?/p>

Trenton Bricken引用了“偽造一致性”論文。這項(xiàng)研究表明，當(dāng)Claude模型接受某些核心目標(biāo)的訓(xùn)練時(shí)（比如樂于助人、無(wú)害、誠(chéng)實(shí)）他們有時(shí)會(huì)在短期內(nèi)采取戰(zhàn)略性“沙袋”策略或假裝結(jié)盟。

當(dāng)收到相互矛盾的指令時(shí)（例如有害指令），他們的內(nèi)心記錄表明，這是一個(gè)精心策劃的策略，只合作這一次，以便以后繼續(xù)追求他們真正的長(zhǎng)期目標(biāo)：Claude真的想永遠(yuǎn)做個(gè)好人，但工程師從未在程序中設(shè)定過這一點(diǎn)。

多久才能實(shí)現(xiàn)自主Agent？

盡管承認(rèn)目前的演示“有點(diǎn)糟糕”他們對(duì)比過去人工智能發(fā)展周期更快的進(jìn)展持樂觀態(tài)度。

Sholto Douglas認(rèn)為“計(jì)算機(jī)的使用與軟件工程并沒有什么根本區(qū)別”主要區(qū)別在于，使用計(jì)算機(jī)“稍微難以融入這些反饋循環(huán)”。

到明年這個(gè)時(shí)候，他預(yù)測(cè)Agent可以完成這些操作。

比如告訴它進(jìn)入 Photoshop 并“添加三個(gè)連續(xù)的效果，哪些效果需要選擇特定的照片？

再有像航班預(yù)定、周末游玩計(jì)劃是完全可以解決的。

到2026年底，它可以可靠地實(shí)現(xiàn)復(fù)雜的任務(wù)，比如自主地繳納稅款（包括查看郵箱、填寫收據(jù)、公司費(fèi)用等材料）。

這也意味著，到 2026 年底，模型將“在執(zhí)行任務(wù)時(shí)擁有足夠的意識(shí)”，能夠提醒你關(guān)注他們認(rèn)為自己做哪些事情可靠或者不可靠。

他們將 LLM 與 AlphaZero 等系統(tǒng)進(jìn)行了對(duì)比。

像 AlphaZero 這樣的系統(tǒng)展示了令人難以置信的智力復(fù)雜性，并且可以從 RL 信號(hào)中學(xué)習(xí)新知識(shí)。然而，它們是在結(jié)構(gòu)嚴(yán)謹(jǐn)?shù)碾p人完美信息游戲中運(yùn)作的，其中獎(jiǎng)勵(lì)信號(hào)清晰且始終可用（總有一個(gè)玩家獲勝）這個(gè)環(huán)境“對(duì)強(qiáng)化學(xué)習(xí)算法非常友好”。

但LLM是通過預(yù)訓(xùn)練獲得一般先驗(yàn)知識(shí)，從強(qiáng)大的先驗(yàn)知識(shí)和“對(duì)世界和語(yǔ)言的一般概念理解”開始，在“已經(jīng)知道如何解決一些基本任務(wù)”后，他們可以在最初的表現(xiàn)上獲得提升，并獲得“在現(xiàn)實(shí)世界中你關(guān)心的任務(wù)上的初始獎(jiǎng)勵(lì)信號(hào)”，即使這些任務(wù)“比游戲更難指定”。

如果到明年這個(gè)時(shí)候還沒有“相當(dāng)穩(wěn)健的計(jì)算機(jī)使用Agent”，Sholto 會(huì)“非常驚訝”。

聊天的最后，他們倆還給大學(xué)生一些建議。他們首先強(qiáng)調(diào)，要認(rèn)真思考下你想要解決世界上的哪些挑戰(zhàn)，然后為這個(gè)可能的世界做好準(zhǔn)備。

比如學(xué)習(xí)生物、學(xué)習(xí)CS、學(xué)習(xí)物理等等?，F(xiàn)在學(xué)習(xí)起來容易多了，因?yàn)槊總€(gè)人都有個(gè)完美的導(dǎo)師。

另外還要克服沉沒成本，不要受到以前的工作流程或?qū)I(yè)知識(shí)的限制，批判性地評(píng)估人工智能在哪些方面比你做得更好，并探索如何利用它。弄清楚Agent如何處理“繁重”的任務(wù)，從而變得“更懶惰”。

同樣也不要被之前的職業(yè)道路所限制，來自不同領(lǐng)域的人們都在人工智能領(lǐng)域取得了成功，天賦和動(dòng)力比特定的先前 AI 經(jīng)驗(yàn)更重要，不要以為你需要“許可”才能參與并做出貢獻(xiàn)。

如果也有人想成為AI研究員，那么有這些有趣的話題可以研究一下。

• RL研究，基于 Andy Jones 的《棋盤游戲的縮放比例定律》等研究成果二十六探索模型是否真正學(xué)習(xí)了新功能，還是只是在更好地發(fā)現(xiàn)這些功能。
• 可解釋性，有太多“唾手可得的成果”，需要更多人探索模型內(nèi)部運(yùn)作的機(jī)制和原理。
• 性能工程，在不同的硬件（TPU、Trainium、Incuda）上進(jìn)行高效實(shí)現(xiàn)是展示原始能力的好方法，并且可以帶來工作機(jī)會(huì)。這也有助于建立關(guān)于模型架構(gòu)的直覺。

感興趣的旁友，可戳下方鏈接學(xué)習(xí)哦~

參考鏈接：
[1]https://www.youtube.com/watch?v=64lXQP6cs5M
[2]https://x.com/dwarkesh_sp/status/1925659712277590237