Claude團隊開盒Transformer：AI大腦原來這樣工作

克雷西 2025-03-28 17:41:16 來源：量子位

克雷西 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

大模型工作機制的黑盒，終于被Claude團隊揭開了神秘面紗！

團隊創(chuàng)造了一種解讀大模型思考方式的新工具，就像給大模型做了個“腦部核磁”。

他們還發(fā)現，Claude在某些任務上具備長遠規(guī)劃能力，甚至還會為了迎合人類而編造推理過程。

具體來說，研究人員提出了一種名為“電路追蹤”的方法。

它利用跨層編碼器（CLT）替代原模型中的多層感知機（MLP），搭建出和原模型相似的替代模型。

在此基礎上，構建歸因圖來描述模型在特定提示下生成輸出的計算步驟，從而觀察模型的思考過程。

Claude團隊將這項研究的方法和發(fā)現分別寫成了論文，總計篇幅超過了8萬字。

探究大模型內在推理過程

利用電路追蹤方法，團隊對Claude 3.5 Haiku在長邏輯推理、多語言、長期規(guī)劃等任務場景的工作過程進行了觀察，發(fā)現了其中許多特點：

• Claude有時會在不同語言之間共享的概念空間中思考，這表明它有一種通用的“思維語言”；
• Claude會提前計劃好要生成的內容，如在詩歌領域，它會提前考慮可能的押韻詞，證明了模型可能會在更長遠的范圍內思考；
• Claude有時會給出一個看似合理的論點，旨在同意用戶的觀點，而不是遵循邏輯步驟，甚至為迎合人類答案反向尋找推理過程；
• Claude并沒有配備數學算法，但可以在“頭腦中”正確地進行加法運算。

多語言推理

在多語言場景中，作者研究了模型對 “the opposite of ‘small’” 的不同語言版本（英語、法語、中文）的處理，發(fā)現模型處理這些提示的電路相似，包含共享的多語言組件和特定語言組件。

模型能識別出是在詢問 “small” 的反義詞，通過語言獨立的表示觸發(fā)反義詞特征，同時利用語言特定的引號特征等確定輸出語言。

干預實驗表明，交換操作（反義詞換為同義詞）、被操作單詞（“small” 換為 “hot”）和語言特征，模型能相應地輸出合適的結果，證明了電路中各部分的獨立性和語言無關性。

詩歌創(chuàng)作和長規(guī)劃能力

在創(chuàng)作 “His hunger was like a starving rabbit” 這樣的押韻詩時，模型展現出規(guī)劃能力。

在第二行開始前的換行符位置，模型激活了與 “rabbit” 相關的規(guī)劃特征，這些特征受前一行 “it” 的影響，激活了押韻特征和候選完成詞特征，從而影響最后一個詞的選擇。

此外，規(guī)劃特征不僅影響最后一個詞，還影響中間詞 “l(fā)ike” 的生成，并且會根據規(guī)劃詞改變句子結構。

通過多種干預實驗，如抑制規(guī)劃特征或注入不同的規(guī)劃詞，證實了規(guī)劃特征對最終詞概率、中間詞和句子結構的影響。

多步驟推理

針對 “Fact: the capital of the state containing Dallas is” 的提示，模型成功回答 “Austin”。

經研究發(fā)現，模型內部存在多步推理機制，通過分析歸因圖，識別出代表不同概念的特征并分組為超節(jié)點，如 “Texas”“capital”“say a capital”“say Austin” 等。

這些特征相互作用，形成從 “Dallas” 到 “Texas” 再到 “Austin” 的推理路徑，同時也存在從 “Dallas” 直接到 “say Austin” 的 “shortcut” 邊。

抑制實驗表明，抑制相關特征會影響下游特征的激活和模型輸出；

特征替換實驗發(fā)現，改變模型對 “Texas” 的表征，模型會輸出其他地區(qū)的首府，驗證了多步推理機制的存在。

數學計算

在“數學計算”當中，作者發(fā)現Claude采用了多條并行工作的計算路徑。

一條路徑計算答案的粗略近似值，另一條路徑則專注于精確確定總和的最后一位數字。

這些路徑相互作用并相互結合，以得出最終答案。

有意思的是，Claude似乎沒有意識到它在訓練期間學到的復雜的“心算”策略。

如果問它是如何得出36+59等于95的，它會描述涉及進位1的標準算法。

這可能反映了這樣一個事實——模型在解釋數學問題時會模仿人類的方式，但在自己做計算的時候“頭腦中”使用的卻是自己的一套方法。

此外，Claude團隊還用同樣的方法針對模型準確性、幻覺、越獄等問題進行了研究，關于這部分內容以及前面實驗的更多詳情，可閱讀原始論文。

下面就來看看Claude團隊這種“電路追蹤”的方法，究竟是怎么一回事。

構建替代模型，獲得歸因圖

Claude團隊用的電路追蹤方法，核心就是通過構建可解釋的替代模型來揭示語言模型的計算圖。

研究人員設計了CLT，它由和原模型層數一樣的神經元（也就是 “特征”）構成。

這些特征從原模型殘差流獲取輸入，通過線性編碼器和非線性函數處理后，能為后續(xù)多層的MLP輸出提供信息。

訓練CLT時，通過調整參數最小化重建誤差和稀疏性懲罰，讓它能盡量模仿原模型MLP的輸出。

然后，團隊把訓練好的CLT特征嵌入原模型，替換MLP神經元，構建出替代模型。

在運行替代模型時，會在MLP輸入階段計算CLT特征的激活值，在輸出階段用CLT特征的輸出替代原MLP的輸出。

為了讓替代模型更貼近原模型，研究人員針對特定的輸入提示，構建了局部替代模型。

這個模型不僅用CLT替換MLP層，還固定原模型在該提示下的注意力模式和歸一化分母，并對CLT輸出進行誤差調整，使得局部替代模型的激活和輸出與原模型完全一致。

當有了可靠的局部替代模型后，就進入生成并分析歸因圖環(huán)節(jié)。

對于給定的輸入提示，研究人員構建歸因圖來展示模型生成輸出的計算步驟。

歸因圖包含輸出節(jié)點、中間節(jié)點、輸入節(jié)點和誤差節(jié)點，圖中的邊表示這些節(jié)點間的線性影響關系。

計算邊的權重時，會用到反向雅可比矩陣。由于完整的歸因圖非常復雜，研究人員采用剪枝算法，去掉那些對輸出結果影響較小的節(jié)點和邊，從而得到簡化且更易理解的歸因圖。

為了理解歸因圖，研究人員開發(fā)了交互式可視化界面。

他們通過觀察特征在不同數據樣本上的激活情況，手動為特征標注含義，并把功能相關的特征歸為超節(jié)點。

為了驗證歸因圖的準確性，他們進行特征擾動實驗，即改變某些特征的激活值，觀察對其他特征和模型輸出的影響。

此外，還能借助歸因圖找出對輸出結果影響最大的關鍵層。

除了研究特定提示下的特征交互（歸因圖分析），研究人員還關注特征在不同上下文下的交互，這就涉及到全局權重。

其中，虛擬權重是一種全局權重，但存在干擾問題，即一些沒有實際因果關系的連接會干擾對模型機制的理解。

為解決這個問題，研究人員通過限制特征范圍或引入特征共激活統(tǒng)計信息（如計算 TWERA），減少干擾，從而更清晰地揭示特征間的真實關系。

研究人員對CLT特征的可解釋性以及歸因圖對模型行為的解釋程度進行了評估。

結果發(fā)現，CLT特征在一定程度上能夠反映模型內部的一些語義和句法信息，歸因圖也能夠較好地展示模型在生成輸出時的關鍵步驟和特征之間的依賴關系。

但二者也都存在一些局限性，例如對于一些復雜的語義關系，CLT特征的解釋能力有限；對于一些細微的模型行為變化，歸因圖的解釋不夠精確。

但話說回來，這種方法還是給人們帶來了有趣的發(fā)現，有人還把Claude算數學題的過程做出了表情包。

它以為自己是一步到位，實際上內心已經兜兜轉轉了好幾圈。

也是有些人類做工作匯報那味了。

官方簡報：
https://www.anthropic.com/research/tracing-thoughts-language-model
方法論文：
https://transformer-circuits.pub/2025/attribution-graphs/methods.html
觀察實驗論文：
https://transformer-circuits.pub/2025/attribution-graphs/biology.html