Ilya左膀右臂被Claude團(tuán)隊(duì)挖走！奧特曼砍掉的超級(jí)對(duì)齊算力，Anthropic給了

衡宇 2024-05-29 12:37:44 來(lái)源：量子位

衡宇 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

剛從OpenAI憤而離職的RLHF發(fā)明者之一Jan Leike，宣布加入Anthropic。

就在十多天前，追隨Ilya Sutskever的腳步，Jan也和他倆共同領(lǐng)導(dǎo)的超級(jí)對(duì)齊團(tuán)隊(duì)說(shuō)了拜拜。

現(xiàn)在，Jan的去向落定，迅速加入Claude團(tuán)隊(duì)Anthropic。

至于職務(wù)嘛，與他在OpenAI超級(jí)對(duì)齊團(tuán)隊(duì)干的活類似：

我將在Anthropic繼續(xù)執(zhí)行超級(jí)對(duì)齊任務(wù)！
新團(tuán)隊(duì)將致力于可擴(kuò)展監(jiān)督、從弱到強(qiáng)的泛化和自動(dòng)對(duì)齊研究。

有意思啊有意思，要知道，Anthropic創(chuàng)始團(tuán)隊(duì)也是當(dāng)年從OpenAI“叛逃”出來(lái)的。

當(dāng)年，曾任OpenAI研究副總裁的Dario Amodei等人，由于對(duì)OpenAI商業(yè)重點(diǎn)、與微軟的關(guān)系遠(yuǎn)近、對(duì)安全的重視程度等存在分歧，毅然決然組團(tuán)出走。

這才有了今日可以與OpenAI相抗衡的Anthropic，才有了打破GPT不可戰(zhàn)勝神話的Claude 3。

Jan的官宣推特底下一片恭喜聲，甚至有人形容Jan加入Anthropic帶來(lái)的價(jià)值，“就像金門大橋?yàn)榕f金山增加價(jià)值一樣——他將幫助撥開(kāi)AI安全研究的迷霧”。

當(dāng)然也有人擔(dān)心，過(guò)于注重AI安全會(huì)讓模型實(shí)用性下降：

“恭喜恭喜！從今以后Claude就會(huì)變得平庸無(wú)奇沒(méi)啥用了，畢竟GPT-4o發(fā)布之前（超級(jí)對(duì)齊兩位領(lǐng)導(dǎo)人離職前）的ChatGPT就是這樣?！?/p>

但Anthropic內(nèi)部員工倒是挺開(kāi)心的，甚至有人公布了自己內(nèi)部的“玄學(xué)”：

過(guò)去的日子里，他們每周都要拜一下Jan，期望他保佑對(duì)齊研究順順利利。

Anthropic創(chuàng)始成員、ChatGPT前身InstructGPT的參與者Amanda Askell，還去向Claude“求簽”了。

答案是：

Claude也很歡迎Jan的到來(lái)～

痛快加入OpenAI最強(qiáng)勁敵

今天凌晨，Jan Leike發(fā)布推特，宣布成為Anthropic的一員。

此時(shí)距離他追隨Ilya離開(kāi)OpenAI，剛好過(guò)去14天。

加入Anthropic后，Jan的目標(biāo)很明確：

繼續(xù)執(zhí)行超級(jí)對(duì)齊任務(wù)，主要包括可擴(kuò)展監(jiān)督（以可預(yù)測(cè)和理想的方式控制大規(guī)模AI行為的技術(shù)）、從弱到強(qiáng)的泛化和自動(dòng)對(duì)齊研究。

來(lái)自TechCrunch的消息，Jan將直接向Anthropic首席科學(xué)家Jared Kaplan匯報(bào)。

而目前Anthropic正在研究可擴(kuò)展監(jiān)督的團(tuán)隊(duì)，將轉(zhuǎn)向Jan匯報(bào)。

一直以來(lái)，由OpenAI的11名出走員工打造的Anthropic，經(jīng)常在各種場(chǎng)合強(qiáng)調(diào)自家對(duì)安全性的高度重視。

尤其是比OpenAI更安全。

不過(guò)一些團(tuán)隊(duì)成員提起過(guò)，走高度重視AI安全這條路，經(jīng)常會(huì)因?yàn)榕cOpenAI帶領(lǐng)的主流路線不一致而走得不太順。

現(xiàn)在看來(lái)，在超級(jí)對(duì)齊這件事情上，兩家大模型巨頭也確實(shí)側(cè)重有所不同。

就在Ilya和Jan離職后沒(méi)幾天，OpenAI就解散了他倆曾經(jīng)共同領(lǐng)導(dǎo)的超級(jí)對(duì)齊小組。

超級(jí)對(duì)齊概念在去年7月被提出，OpenAI原本的打算是花費(fèi)4年時(shí)間打造一個(gè)超級(jí)對(duì)齊系統(tǒng)，旨在構(gòu)建一個(gè)能夠與人類水平相媲美的自動(dòng)對(duì)齊研究器。

當(dāng)時(shí)的對(duì)外宣布，是說(shuō)會(huì)在這事兒上投入20%的計(jì)算資源——當(dāng)然了，Ilya離職時(shí)有內(nèi)幕曝光，超級(jí)對(duì)齊團(tuán)隊(duì)的計(jì)算資源經(jīng)常被卡……

超級(jí)對(duì)齊小組解散后，OpenAI悄悄招募了一個(gè)安全相關(guān)的團(tuán)隊(duì)。

這個(gè)團(tuán)隊(duì)名叫Indent，是一家數(shù)據(jù)安全初創(chuàng)公司。

值得一提的是，這家公司是OpenAI首席執(zhí)行官奧特曼的老相識(shí)了：2021年時(shí)，奧特曼參與了Indent約560萬(wàn)美元的種子輪融資。

不過(guò)，Indent這股新鮮血液，并不是OpenAI用來(lái)補(bǔ)充超級(jí)對(duì)齊人員流失的后備軍。

根據(jù)Indent團(tuán)隊(duì)在X上發(fā)布的信息，他們的職責(zé)范圍主要還是保障數(shù)據(jù)安全。

同時(shí)，就在昨天，OpenAI成立了一個(gè)新的安全委員會(huì)，由奧特曼等高級(jí)管理人員領(lǐng)導(dǎo)。

該委員會(huì)將向公司董事會(huì)推薦“OpenAI項(xiàng)目和運(yùn)營(yíng)的安全決策”。

最強(qiáng)模二代

話說(shuō)，Jan剛加入的Anthropic，可以算得上大模型時(shí)代的最強(qiáng)“模二代”。

它一整個(gè)就是復(fù)仇者聯(lián)盟配置——

核心創(chuàng)始團(tuán)隊(duì)：

11名OpenAI前員工，因不滿老東家成為微軟附庸、不夠重視安全問(wèn)題怒而出走。

投資隊(duì)伍：

初期有OpenAI老對(duì)頭，又被ChatGPT的出現(xiàn)殺得措手不及的Facebook聯(lián)創(chuàng)Dustin Moskovitz，谷歌前CEO、現(xiàn)技術(shù)顧問(wèn)Eric Schmid。

今年3月，亞馬遜完成了對(duì)Anthropic共40億美元的重注。

這樣的配置，讓團(tuán)隊(duì)在今年3月打破GPT系列不可戰(zhàn)勝的神話，旗下Claude 3榜單性能跑分全面超越GPT-4，成為首個(gè)全面超越GPT-4的產(chǎn)品，坐上了全球最強(qiáng)大模型新王座。

轉(zhuǎn)觀國(guó)內(nèi)市場(chǎng)，這樣從大廠大模型團(tuán)隊(duì)/大模型創(chuàng)業(yè)公司出走創(chuàng)業(yè)的情況也不勝枚舉。

最近這段時(shí)間最有熱度的就是字節(jié)跳動(dòng)楊紅霞離職創(chuàng)業(yè)一事。

楊紅霞起初是阿里達(dá)摩院的一員，是超大規(guī)模多模態(tài)預(yù)訓(xùn)練模型的技術(shù)負(fù)責(zé)人，也是相關(guān)模型進(jìn)化到萬(wàn)億規(guī)模的主要推動(dòng)者。

去年3月，楊紅霞加入字節(jié)AML（機(jī)器學(xué)習(xí)系統(tǒng)）團(tuán)隊(duì)，任字節(jié)跳動(dòng)大語(yǔ)言模型研發(fā)技術(shù)專家，在美國(guó)西雅圖從事大語(yǔ)言模型的研發(fā)。

她的匯報(bào)對(duì)象，是字節(jié)跳動(dòng)AML和豆包大模型Foundation團(tuán)隊(duì)負(fù)責(zé)人項(xiàng)亮。

近期又有消息曝出，楊紅霞已于近日從字節(jié)跳動(dòng)離職，并開(kāi)始籌備AI創(chuàng)業(yè)項(xiàng)目。

這就能看出國(guó)內(nèi)外模二代的不同之處——Anthropic下場(chǎng)時(shí)間很早（甚至是ChatGPT爆火之前），而國(guó)內(nèi)基座大模型市場(chǎng)份額基本已經(jīng)被大廠和五虎等瓜分。

因此，選擇出走另謀出路的朋友們，往往和楊紅霞一樣，選擇投身更具體的AI細(xì)分領(lǐng)域施展抱負(fù)。

量子位從市場(chǎng)獲悉的消息如下：

△或有缺漏與誤傳，歡迎評(píng)論區(qū)留言指正

當(dāng)然了，除了出走大模型創(chuàng)企/大廠團(tuán)隊(duì)，自己躬身創(chuàng)業(yè)的有識(shí)之士，也有像當(dāng)初楊紅霞一樣，選擇加入現(xiàn)有頭部玩家的AI屆大牛。

譬如，不知是否受近期微軟中國(guó)區(qū)人工智能團(tuán)隊(duì)“輪崗海外”的事件影響，微軟資深首席研究員段楠，被曝已經(jīng)離開(kāi)MSRA（微軟亞洲研究院）。

去往何處？

量子位打聽(tīng)到，段楠已經(jīng)加入了大模型創(chuàng)業(yè)公司的最神秘玩家階躍星辰。

無(wú)論是OpenAI、Anthropic，還是國(guó)內(nèi)大模型頭部玩家，它們之中人員或多或少的洗牌，帶給大模型創(chuàng)業(yè)市場(chǎng)的，是更新的血液，也是你追我趕局面的最強(qiáng)助力。

參考鏈接：
[1]https://x.com/fouadmatin/status/1793350695476933108
[2]https://techcrunch.com/2024/05/28/anthropic-hires-former-openai-safety-lead-to-head-up-new-team/?guccounter=1
[3]https://x.com/kipperrii/status/1795506990137139468
[4]https://x.com/janleike/status/1795497960509448617/quotes