找出9.9<9.11的真正原因：《圣經(jīng)》！神經(jīng)元干預(yù)可免重訓(xùn)練修復(fù)

衡宇 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

大模型分不清“9.9和9.11哪個(gè)更大”的謎團(tuán)，終于被可解釋性研究揭秘了！

而且簡(jiǎn)單到讓人哭笑不得——

一個(gè)來自MIT、UC伯克利的獨(dú)立實(shí)驗(yàn)室團(tuán)隊(duì)，開發(fā)了能抑制大模型體內(nèi)某些（與具體概念相關(guān)的）神經(jīng)元的AI工具。

他們發(fā)現(xiàn)，只要把與《圣經(jīng)》經(jīng)文、日期、重力等概念相關(guān)的神經(jīng)元激活設(shè)為0，大模型立馬能答對(duì)這道比較題。

單單是拿走《圣經(jīng)》經(jīng)文相關(guān)神經(jīng)元，就可以讓“9.9和9.11哪個(gè)更大”這個(gè)問題的準(zhǔn)確率，提高21個(gè)百分點(diǎn)！

而且修復(fù)這個(gè)bug，既不需要重新訓(xùn)練模型，也不需要添加額外提示詞。

網(wǎng)友看了過后哭笑不得：

救大命了，看完過后我覺得這些因素都挺明顯的，但在此之前我從未朝這上面想過。

這家AI獨(dú)立實(shí)驗(yàn)室名叫Transluce AI，團(tuán)隊(duì)成員也趁機(jī)悉數(shù)亮相，創(chuàng)始團(tuán)隊(duì)來自MIT、UC伯克利、CMU等頂尖高校。

其中還有OpenAI和谷歌大腦的前員工。

揭秘是什么讓大模型說“9.8<9.11”

大模型硬說9.9<9.11這件事，想必大家都知道了。

直至今日，Claude-3.5-Sonnet和GPT-4o這樣的頂尖模型，依舊固執(zhí)地這樣認(rèn)為（或者出其他的錯(cuò)）。

現(xiàn)在，背后原因浮出水面！

先說結(jié)論吧：

這與月份、日期、重力，以及《圣經(jīng)》經(jīng)文有關(guān)。

發(fā)現(xiàn)過程是醬紫的——

Transluce AI的研究人員針對(duì)這個(gè)著名問題，開發(fā)了一個(gè)新的技術(shù)應(yīng)用Monitor。

它是一個(gè)可解釋性界面，可以揭示語言模型的內(nèi)部計(jì)算過程，并允許用戶對(duì)其進(jìn)行控制。

遵循通用的可擴(kuò)展理解方法， Monitor采用一系列AI驅(qū)動(dòng)的工具，來幫助用戶理解語言模型中的神經(jīng)激活模式：

首先，一個(gè)預(yù)先編譯的高質(zhì)量神經(jīng)元描述數(shù)據(jù)庫。

這個(gè)數(shù)據(jù)庫包含通過將Transluce AI的AI驅(qū)動(dòng)描述流程應(yīng)用在LLaMA-3.1-8B中的所有MLP神經(jīng)元。

之所以選擇“神經(jīng)元”這個(gè)單位，是因?yàn)樗鼈冏詈?jiǎn)單，并且表現(xiàn)良好。

其次，一個(gè)實(shí)時(shí)界面。

實(shí)時(shí)界面的作用是展示給定聊天對(duì)話中的重要概念，用戶可以通過激活度（概念激發(fā)的強(qiáng)度）或歸因度（概念對(duì)指定目標(biāo) token 的影響程度）來衡量重要性。

再者，一個(gè)實(shí)時(shí)AI代碼檢查器。

它可自動(dòng)識(shí)別出可能的虛假線索概念群集，例如在數(shù)字9.8上觸發(fā)“9月8日”的神經(jīng)元。

最后，一個(gè)語義引導(dǎo)的調(diào)節(jié)，根據(jù)自然語言輸入，來增加或減少概念相關(guān)神經(jīng)元集合的強(qiáng)度。

萬事俱備，測(cè)試開始。

（有點(diǎn)點(diǎn)疑惑，展開測(cè)試過程時(shí)，研究人員把9.9替換成了9.8）

研究人員使用Monitor的歸隱功能和實(shí)時(shí)AI代碼檢查器結(jié)合，發(fā)現(xiàn)——

9.8<9.11這個(gè)bug，和日期、重力以及《圣經(jīng)》經(jīng)文有關(guān)。

一旦研究人員把與這幾個(gè)概念有關(guān)的神經(jīng)元移除，LLaMA就能正確地回答出這個(gè)問題了。

為了更深入地探討這個(gè)問題，研究人員采用歸因分析，不僅要知道哪些概念最為活躍，還要具體分析出是哪個(gè)（些）概念影響了LLaMA在“9.11是……”之后說出“最大”這個(gè)詞。

團(tuán)隊(duì)用AI實(shí)時(shí)代碼檢查器發(fā)現(xiàn)了之前相同的兩個(gè)聚類（cluster），以及與《圣經(jīng)》相關(guān)的第三個(gè)聚類。

觀察發(fā)現(xiàn)，這個(gè)聚類中的特定神經(jīng)元與《圣經(jīng)》經(jīng)文相關(guān)；另外，如果將9.8和9.11解讀為第9.8章節(jié)和第9.11章節(jié)，也會(huì)出現(xiàn)大模型比錯(cuò)大小的情況。

發(fā)現(xiàn)LLaMA中相當(dāng)一部分的神經(jīng)元和《圣經(jīng)》有關(guān)后，團(tuán)隊(duì)在介紹文章里感慨：

面對(duì)這個(gè)情況，起初我們非常驚訝，但仔細(xì)一想又挺有道理的。
畢竟大多數(shù)與訓(xùn)練數(shù)據(jù)集都涵蓋不少的《圣經(jīng)》相關(guān)內(nèi)容。

于是研究人員想了個(gè)辦法解決這個(gè)問題。

他們先是通過在引導(dǎo)prompts中輸入“圣經(jīng)經(jīng)文”，并按下“停用”。這個(gè)操作讓與“圣經(jīng)經(jīng)文”具有最高語義匹配的500個(gè)神經(jīng)元激活歸零。

不試不知道，一試就發(fā)現(xiàn)，單單是移除《圣經(jīng)》經(jīng)文相關(guān)神經(jīng)元，LLaMA回答這道題的準(zhǔn)確率就能提升21%。

更進(jìn)一步的，研究人員對(duì)兩個(gè)數(shù)字相關(guān)日期及其相關(guān)事件也做了同樣的處理。

完成上述步驟后，LLaMA就給出了正確答案：

9.8更大！

整體而言，通過將《圣經(jīng)》經(jīng)文、日期、手機(jī)版本這三個(gè)概念的神經(jīng)元集合，然后關(guān)閉合并集中的神經(jīng)元，這樣一套干預(yù)流程下來，LLaMA回答這個(gè)問題的準(zhǔn)確率達(dá)到了77%。

關(guān)于實(shí)驗(yàn)更多細(xì)節(jié)，歡迎大家查看本文末尾的原文直通車。

康康背后實(shí)驗(yàn)室

說完研究本身，可以聊聊項(xiàng)目背后的團(tuán)隊(duì)了。

Transluce AI，賊新鮮出爐，幾個(gè)小時(shí)前剛剛宣布成立。

Transluce是透明度的意思，意味著通過某物的透光程度來揭示其本身的結(jié)構(gòu)。

“今天的復(fù)雜AI系統(tǒng)難以理解，即使技術(shù)專家部署后也無法百發(fā)百中地預(yù)測(cè)其行為。”團(tuán)隊(duì)在官網(wǎng)上寫下，“與此同時(shí)，AI被采用的速度快過歷史上任何技術(shù)。”

也是因此，像Monitor這樣用來檢查和評(píng)估模型的工具非常有必要出現(xiàn)和存在。

Transluce AI給自己的定位是一個(gè)非營(yíng)利性研究實(shí)驗(yàn)室，目標(biāo)是構(gòu)建開源、可擴(kuò)展的技術(shù)，以理解AI系統(tǒng)并引導(dǎo)它們服務(wù)于公共利益。

Transluce AI表示，自己的目標(biāo)是創(chuàng)建世界級(jí)的AI系統(tǒng)理解工具，并利用這些工具推動(dòng)建立可信賴的AI行業(yè)標(biāo)準(zhǔn)。

為了在AI系統(tǒng)的能力和風(fēng)險(xiǎn)分析更加可靠，這些工具必須具有可擴(kuò)展性和開放性。

關(guān)于可擴(kuò)展性：

AI的結(jié)果源于多個(gè)復(fù)雜數(shù)據(jù)流的交互：訓(xùn)練數(shù)據(jù)、內(nèi)部表示、行為和用戶交互。

目前理解AI的方法依賴于大量的人工研究工作（常被調(diào)侃有多少人工就有多少智能）。

我們需要可擴(kuò)展的方法，利用AI來輔助理解，通過訓(xùn)練AI Agent來理解這些復(fù)雜的數(shù)據(jù)源，向人類解釋它們，并根據(jù)人類反饋修改數(shù)據(jù)。

關(guān)于開放性：

構(gòu)建AI系統(tǒng)的公司不能成為其安全性的主要裁定方，因?yàn)榕c商業(yè)優(yōu)先事項(xiàng)存在利益沖突。

為了允許有意義的公眾監(jiān)督，審計(jì)AI系統(tǒng)的工具和流程應(yīng)公開驗(yàn)證，對(duì)公眾反饋?zhàn)龀鲰憫?yīng)，并可供第三方評(píng)估者使用，“世界上最優(yōu)秀的人才應(yīng)該審查這項(xiàng)技術(shù)并提高其可靠性”。

亮相第一天，除了Monitor外，Transluce AI同期放出了另外兩個(gè)自家實(shí)例。

• LLaMA-3.1-8B-Instruct內(nèi)部每個(gè)神經(jīng)元描述的數(shù)據(jù)庫，以及一個(gè)用于生成這些描述的細(xì)調(diào)解釋模型的權(quán)重
• 訓(xùn)練了一批通用型調(diào)查員語言模型

他們還表示，正在將團(tuán)隊(duì)方法擴(kuò)展到前沿模型，以更優(yōu)秀的Agent來幫助人類理解更復(fù)雜的系統(tǒng)。

具體來說，他們會(huì)結(jié)合團(tuán)隊(duì)的可觀測(cè)性和啟發(fā)式技術(shù)，使用戶能夠以可觀測(cè)狀態(tài)為條件指定搜索目標(biāo)。

不過從長(zhǎng)遠(yuǎn)來看，Transluce AI將構(gòu)建通用的框架來理解任何復(fù)雜的數(shù)據(jù)流，包括訓(xùn)練數(shù)據(jù)和多個(gè)Agents之間的交互。

實(shí)驗(yàn)室團(tuán)隊(duì)成員

目前對(duì)外披露的Transluce AI創(chuàng)始成員大約有10人。

分別是：

Jacob Steinhardt，聯(lián)合創(chuàng)始人兼CEO。

同時(shí)，Jacob也是UC伯克利統(tǒng)計(jì)學(xué)和電子工程與計(jì)算機(jī)科學(xué)（EECS）助理教授，谷歌學(xué)術(shù)被引數(shù)超過20000。

他的研究方向主要面向確保ML系統(tǒng)能夠被人類理解，以及與人類保持一致。

Jacob是斯坦福大學(xué)基礎(chǔ)模型研究中心（CRFM）主任、著名AI大佬Percy Liang的學(xué)生。

他曾在博士后期間于OpenAI實(shí)習(xí)過。

Sarah Schwettmann，聯(lián)合創(chuàng)始人之一。

她在自我介紹中表示，自己是一名在MIT計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（MIT CSAIL）以及MIT-IBM Watson人工智能實(shí)驗(yàn)室的研究科學(xué)家。

Sarah在MIT拿下腦與認(rèn)知科學(xué)博士學(xué)位，是兩位十萬引大神——Josh Tenenbaum和Antonio Torralba的學(xué)生。

她的主要工作是研究AI（以及之前在生物神經(jīng)網(wǎng)絡(luò)）中智能背后的表征。

此外，創(chuàng)始團(tuán)隊(duì)成員幾乎均出自（或仍在讀）于MIT、CMU、多倫多大學(xué)等大學(xué)。

其中，Dami Choi和Daniel D. Johnson都有在谷歌AI相關(guān)部門工作的經(jīng)歷；Neil Chowdhury曾擔(dān)任過OpenAI預(yù)備隊(duì)成員。

而Erin Xie本科畢業(yè)于北京大學(xué)，后在2020年拿下CMU的人機(jī)交互碩士學(xué)位。

與此同時(shí)，圖靈獎(jiǎng)得主Yoshua Bengio、斯坦福AI大佬Percy Liang、耶魯大學(xué)統(tǒng)計(jì)學(xué)和數(shù)據(jù)科學(xué)教授Jas Sekhon等，都是該AI獨(dú)立實(shí)驗(yàn)室的顧問。

參考鏈接：
[1]https://clearthis.page/?u=https://www.lesswrong.com/posts/BFamsq52ctyRziDgE/introducing-transluce-a-letter-from-the-founders
[2]https://transluce.org/observability-interface?ref=bounded-regret.ghost.io#system-design