Ilya離開OpenAI內(nèi)幕曝光：奧特曼砍他團(tuán)隊(duì)算力，優(yōu)先搞產(chǎn)品賺錢

衡宇 白交 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

連發(fā)13條推文！

OpenAI超級(jí)對(duì)齊負(fù)責(zé)人Jan Leike，也就是剛剛追隨Ilya離開公司的那位，自曝離職的真正原因，以及更多內(nèi)幕。

一來(lái)算力不夠用，承諾給超級(jí)對(duì)齊團(tuán)隊(duì)的20%缺斤少兩，導(dǎo)致團(tuán)隊(duì)逆流而行，但也越來(lái)越困難。

二來(lái)安全不重視，對(duì)AGI的安全治理問題，優(yōu)先級(jí)不如推出“閃亮的產(chǎn)品”。

緊接著，更多的八卦被其他人挖出來(lái)。

比如OpenAI離職成員都要簽一份協(xié)議，保證離職后不在外說(shuō)OpenAI壞話，不簽的話視為自動(dòng)放棄公司股份。

但仍然有拒不簽署的硬骨頭出來(lái)放猛料（笑死），說(shuō)核心領(lǐng)導(dǎo)層對(duì)安全問題優(yōu)先級(jí)的分歧由來(lái)已久。

去年宮斗至今，兩派的觀念沖突到達(dá)了臨界點(diǎn)，這才看上去頗為體面地崩了。

因此，盡管奧特曼已經(jīng)派了聯(lián)合創(chuàng)始人來(lái)接管超級(jí)對(duì)齊團(tuán)隊(duì)，仍舊不被外界看好。

沖在最一線的推特網(wǎng)友們感謝Jan有勇氣說(shuō)出這個(gè)驚人大瓜，并感嘆：

我勒個(gè)去，看來(lái)OpenAI真的不太注重這個(gè)安全性！

不過(guò)回過(guò)頭來(lái)，如今執(zhí)掌OpenAI的奧特曼這邊，暫時(shí)還坐得住。

他站出來(lái)感謝了Jan對(duì)OpenAI超級(jí)對(duì)齊和安全方面的貢獻(xiàn)，表示Jan離開，他其實(shí)很難過(guò)、很舍不得。

當(dāng)然了，重點(diǎn)其實(shí)是這一句：

等著，過(guò)兩天我會(huì)發(fā)一篇比這更長(zhǎng)的推文。

承諾的20%算力居然有畫大餅成分

從去年OpenAI宮斗到現(xiàn)在，靈魂人物、前首席科學(xué)家Ilya就幾乎不再公開露面、公開發(fā)聲。

在他公開宣稱離職前，就已經(jīng)眾說(shuō)紛紜。很多人認(rèn)為Ilya看到了一些可怕的事情，比如可能毀滅人類的AI系統(tǒng)啥的。

△網(wǎng)友：我每天醒來(lái)第一件事就是想Ilya看到了啥

這次Jan算是攤開了說(shuō)，核心原因就是技術(shù)派和市場(chǎng)派對(duì)安全方面的優(yōu)先等級(jí)產(chǎn)生了不同看法。

分歧很嚴(yán)重，目前后果嘛……大家也都看到了。

據(jù)Vox報(bào)道，熟悉OpenAI的消息人士透露，更注重安全的員工已經(jīng)對(duì)奧特曼失去了信心，“這是一個(gè)信任一點(diǎn)一點(diǎn)崩潰的過(guò)程”。

但如你所見，在公開平臺(tái)和場(chǎng)合，沒有太多離職員工愿意公開談?wù)摯耸隆?/p>

一部分原因是OpenAI一直以來(lái)，都有讓員工簽署帶有非貶低協(xié)議的離職協(xié)議的傳統(tǒng)。如果拒絕簽署，就等于放棄了此前拿到的OpenAI的期權(quán)，這意味著出來(lái)說(shuō)話的員工可能會(huì)損失一筆巨款。

然而，多米諾骨牌還是一張接一張的倒下了——

Ilya的辭職加劇了OpenAI近期的離職潮。

緊隨其后宣布離職的，除了超級(jí)對(duì)齊團(tuán)隊(duì)負(fù)責(zé)人Jan以外，目前有至少五個(gè)安全團(tuán)隊(duì)成員離職。

其中還有個(gè)沒簽署非貶低協(xié)議的硬骨頭，Daniel Kokotajlo（以下簡(jiǎn)稱DK哥）。

△去年DK哥寫道，他認(rèn)為AI發(fā)生生存災(zāi)難的可能性為70%

DK哥在2022年加入OpenAI，在治理團(tuán)隊(duì)工作，主要工作內(nèi)容是引導(dǎo)OpenAI安全部署AI。

但他也在近期辭職了，并且對(duì)外接受了采訪：

OpenAI正在訓(xùn)練更強(qiáng)大的AI系統(tǒng)，目標(biāo)是最終全面超越人類智能。
這可能是人類有史以來(lái)發(fā)生過(guò)的最好的事情，但如果我們不小心行事，也可能是最糟糕的事情。

DK哥闡述，當(dāng)年，他加入OpenAI，滿懷對(duì)安全治理的報(bào)復(fù)和希望，期望OpenAI越靠近AGI能越負(fù)責(zé)任。但團(tuán)隊(duì)中許多人慢慢意識(shí)到，OpenAI不會(huì)這樣了。

「逐漸對(duì)OpenAO領(lǐng)導(dǎo)層以及他們負(fù)責(zé)地處理AGI的能力失去了信心」，這就是DK哥辭職的原因。

對(duì)未來(lái)AGI安全工作的失望，是Ilya加劇的離職潮中眾人離開的一部分原因。

還有一部分原因，是超級(jí)對(duì)齊團(tuán)隊(duì)，恐怕沒有外界想象的那樣能資源充沛地進(jìn)行研究。

即便超級(jí)對(duì)齊團(tuán)隊(duì)滿負(fù)荷工作，團(tuán)隊(duì)也只能獲得OpenAI承諾的20%的算力。

而且團(tuán)隊(duì)的一些請(qǐng)求經(jīng)常被拒絕。

當(dāng)然是因?yàn)樗懔Y源對(duì)AI公司來(lái)說(shuō)重要至極，每一點(diǎn)都要合理分配；也因?yàn)槌?jí)對(duì)齊團(tuán)隊(duì)的工作是“解決如果公司成功構(gòu)建AGI，實(shí)際上會(huì)出現(xiàn)不同類型的安全問題”。

換句話說(shuō)，超級(jí)對(duì)齊團(tuán)隊(duì)對(duì)應(yīng)的是OpenAI需要面臨的未來(lái)的安全問題——?jiǎng)澲攸c(diǎn)，是未來(lái)的、不知是否會(huì)出現(xiàn)的。

截至發(fā)稿，奧特曼還沒有發(fā)出他那篇“（比Jan爆料內(nèi)幕的）更長(zhǎng)的推文”。

但他簡(jiǎn)單提到，Jan對(duì)安全問題的擔(dān)憂是對(duì)的，“我們還有很多事情要做；我們也致力于這樣做?！?/strong>

就這一點(diǎn)，大伙兒可以先辦個(gè)小板凳等等，到時(shí)候咱一起第一時(shí)間吃瓜。

綜上，現(xiàn)在超級(jí)對(duì)齊團(tuán)隊(duì)走了好些人，尤其是Ilya和Jan的離職，讓這個(gè)風(fēng)雨之中的團(tuán)隊(duì)面臨群龍無(wú)首的窘?jīng)r。

后續(xù)安排，是聯(lián)合創(chuàng)始人John Schulma來(lái)接手，但不再有專門的團(tuán)隊(duì)。

新的超級(jí)對(duì)齊團(tuán)隊(duì)將是聯(lián)系更松散的小組，成員分布在整個(gè)公司的各個(gè)部門，OpenAI發(fā)言人將其描述為“更深入地整合”。

這一點(diǎn)也為外界所質(zhì)疑，因?yàn)?strong>John的原本全職工作是確保目前的OpenAI產(chǎn)品的安全問題。

不知道突然多了份責(zé)任后，John能不能忙得過(guò)來(lái)，好好領(lǐng)導(dǎo)關(guān)注現(xiàn)在和關(guān)注未來(lái)安全問題的兩個(gè)團(tuán)隊(duì)？

Ilya-Altman之爭(zhēng)

如果把時(shí)間陣線拉長(zhǎng)， 其實(shí)今天的分崩離析是OpenAI“宮斗”Ilya-Altman之爭(zhēng)的續(xù)集。

時(shí)間回溯到去年11月，當(dāng)時(shí)Ilya還在，他同OpenAI董事會(huì)合作試圖解雇掉奧特曼。

當(dāng)時(shí)給出的理由是，他在溝通中不夠真誠(chéng)。換言之，我們不信任他。

但最終結(jié)果顯而易見，奧特曼帶著他的“盟友”威脅加入微軟，結(jié)果董事會(huì)屈服，罷免行動(dòng)失敗。Ilya離開董事會(huì)。而奧特曼這邊，選擇了對(duì)他更為有利的成員加入董事會(huì)。

在這之后，Ilya就再也社交平臺(tái)上消失了，直至前幾天官宣離職。而且據(jù)說(shuō)，已經(jīng)大約6個(gè)月沒有出現(xiàn)在OpenAI辦公室了。

當(dāng)時(shí)他還留下一條耐人尋味的推文，但很快就刪除了。

在過(guò)去的一個(gè)月里，我吸取了許多教訓(xùn)。其中一個(gè)教訓(xùn)是，“在士氣提高之前，毆打會(huì)一直持續(xù)下去 ”這句話比它應(yīng)有的含義更經(jīng)常地適用。

但據(jù)內(nèi)部人士透露，Ilya一直遠(yuǎn)程共同領(lǐng)導(dǎo)著超級(jí)對(duì)齊團(tuán)隊(duì)。

而在奧特曼這邊，員工們對(duì)他最大的指控就是言行不一，比如他聲稱自己想優(yōu)先考慮安全，但他的行為卻很矛盾。

除了原本承諾的計(jì)算資源沒有給到外。還有像前陣子找沙特等籌集資金來(lái)造芯。

那些注重安全的員工懵了。

如果他真的關(guān)心以盡可能安全的方式構(gòu)建和部署人工智能，那么就不會(huì)這么瘋狂地積累芯片，來(lái)加速技術(shù)的發(fā)展？

更早之前，OpenAI還從一家奧特曼投資的一家初創(chuàng)公司訂購(gòu)芯片。金額高達(dá)5100萬(wàn)美元（約合人民幣3.6億元）。

而當(dāng)時(shí)宮斗那幾天OpenAI前員工的舉報(bào)信中，對(duì)于奧特曼的描述似乎也再一次印證。

也正因這樣從始至終“言行不一”的操作，讓員工們逐漸對(duì)OpenAI以及奧特曼失去信心。

Ilya是這樣，Jan Laike是這樣，超級(jí)對(duì)齊團(tuán)隊(duì)也是這樣。

有貼心的網(wǎng)友整理出這幾年年間，發(fā)生的相關(guān)事情的重要節(jié)點(diǎn)——先來(lái)個(gè)貼心提示，下文提到的P（doom），指“AI引發(fā)世界末日?qǐng)鼍暗目赡苄浴薄?/p>

• 2021年，GPT-3團(tuán)隊(duì)負(fù)責(zé)人因“安全”問題離開OpenAI，創(chuàng)立Anthropic；其中一位認(rèn)為P（doom）為10-25%；
• 2021年，RLHF安全研究負(fù)責(zé)人離職，P（doom）為50%；
• 2023年，OpenAI董事會(huì)解雇奧特曼；
• 2024年，OpenAI解雇兩位安全研究員；
• 2024年，一位特別關(guān)注安全的OpenAI研究員離職，他認(rèn)為P（doom）已經(jīng)在70%。
• 2024年，Ilya、JAN Laike離職。

技術(shù)派還是市場(chǎng)派？

大模型發(fā)展至今，「如何實(shí)現(xiàn)AGI？」其實(shí)可歸結(jié)為兩條路線。

技術(shù)派希望技術(shù)成熟可控再應(yīng)用；市場(chǎng)派則認(rèn)為邊開放邊應(yīng)用“漸進(jìn)式”走到終點(diǎn)。

這也是Ilya-Altman之爭(zhēng)的根本分歧，即OpenAI的使命：

是專注于AGI和超級(jí)對(duì)齊，還是專注于擴(kuò)展ChatGPT服務(wù)？

ChatGPT服務(wù)規(guī)模越大，意味著需要的計(jì)算量越大；這也就會(huì)占用AGI安全研究的時(shí)間。

如果OpenAI是個(gè)致力于研究的非盈利組織，他們應(yīng)該將更多時(shí)間花費(fèi)在超級(jí)對(duì)齊上。

而從OpenAI對(duì)外的一些舉措來(lái)看，結(jié)果顯然不是，他們只是想要在大模型這個(gè)競(jìng)爭(zhēng)中拔得頭籌，為企業(yè)和消費(fèi)者提供更多的服務(wù)。

這在Ilya看來(lái)，這是件非常危險(xiǎn)的事情。即便我們不清楚隨著規(guī)模的擴(kuò)大會(huì)發(fā)生什么，但在Ilya看來(lái)，最好的辦法就是安全第一。

開放和透明，這樣我們?nèi)祟惒拍艽_保安全地構(gòu)建 AGI，而不是以某種隱秘的方式。

但在奧特曼帶領(lǐng)之下OpenAI，似乎既不追求開源，也不追求超級(jí)對(duì)齊。相反，它一心只想朝著 AGI 的方向狂奔，同時(shí)試圖建立一條護(hù)城河。

那么最后AI科學(xué)家Ilya的選擇正確，還是硅谷商人奧特曼能走到最后呢？

現(xiàn)在還無(wú)從得知。但至少OpenAI現(xiàn)在面臨著關(guān)鍵抉擇。

有業(yè)內(nèi)人士總結(jié)了兩個(gè)關(guān)鍵信號(hào)，

一個(gè)是ChatGPT是OpenAI主要收入，如果沒有更好的模型支撐，就不會(huì)免費(fèi)向所有人提供GPT-4；

另一個(gè)則是如果離職的團(tuán)隊(duì)成員（Jan、Ilya 等）不擔(dān)心很快會(huì)有更強(qiáng)大的功能，他們就不會(huì)關(guān)心對(duì)齊的問題……如果AI停留在這個(gè)水平上，基本上也無(wú)所謂。

但OpenAI的根本矛盾沒有得到解決，一邊是盜火一樣的AI科學(xué)家對(duì)負(fù)責(zé)任發(fā)展AGI的憂慮，另一邊則是硅谷市場(chǎng)派對(duì)于用商業(yè)化方式推動(dòng)技術(shù)可持續(xù)的急迫。

兩方已經(jīng)不可調(diào)和，科學(xué)派正在完全出局OpenAI，而外界至今也不知道，GPT究竟到哪一步了？

迫切想要知道這個(gè)問題答案的吃瓜群眾都有點(diǎn)累了。

一種無(wú)力感涌上心頭，就像Ilya的老師、圖靈獎(jiǎng)三巨頭之一Hinton說(shuō)的那樣：

我老了，我擔(dān)憂，但我無(wú)能為力了。

參考鏈接：
[1]https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence
[2]https://x.com/janleike/status/1791498174659715494
[3]https://twitter.com/sama/status/1791543264090472660