OpenAI華人VP翁荔離職：北大校友，掌管安全，最近B站分享被熱議

十三 2024-11-09 14:34:56 來源：量子位

金磊 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

就在剛剛，那個掌管OpenAI安全的北大校友，OpenAI研究副總裁（安全）翁荔，離職了。

翁荔是OpenAI華人科學(xué)家、ChatGPT的貢獻(xiàn)者之一。

北大畢業(yè)后，翁荔在2018年加入OpenAI，后來在GPT-4項目中主要參與預(yù)訓(xùn)練、強(qiáng)化學(xué)習(xí)和對齊、模型安全等方面的工作。

最著名的Agent公式也由她提出，即：Agent=大模型+記憶+主動規(guī)劃+工具使用。

而就在前不久，她還剛剛現(xiàn)身2024 Bilibili 超級科學(xué)晚活動，發(fā)表了《AI安全與“培養(yǎng)”之道》的主題演講。

在她宣布離職消息之后，包括OpenAI在內(nèi)的眾多同事發(fā)來了祝福：

翁荔的離職信

在推文中，翁荔也分享了他跟團(tuán)隊做的最后的道別。

以下為離職信的完整內(nèi)容。

親愛的朋友們：

我做出了一個非常艱難的決定，將于11月15日離開OpenAI，這將是我在公司最后一天。

OpenAI是我成長為科學(xué)家和領(lǐng)導(dǎo)者的地方，我將永遠(yuǎn)珍惜在這里與每一位共事的伙伴度過的時光。OpenAI團(tuán)隊一直是我的知己、導(dǎo)師以及我身份的一部分。

我仍然記得2017年初加入OpenAI時的那份好奇和熱情。當(dāng)時我們是一群懷抱著不可能與科幻未來夢想的人。

我在這里開始了我的全棧機(jī)器人挑戰(zhàn)之旅——從深度強(qiáng)化學(xué)習(xí)算法，到感知，再到固件開發(fā)——目標(biāo)是教會一個簡單的機(jī)械手如何解開魔方。這花費了整個團(tuán)隊兩年時間，但最終我們成功了。

當(dāng)OpenAI進(jìn)入GPT領(lǐng)域時，我們開始探索如何將最先進(jìn)的AI模型應(yīng)用于現(xiàn)實世界。我建立了第一個應(yīng)用研究團(tuán)隊，推出了初始版本的微調(diào)API、嵌入API和審核端點，為應(yīng)用安全工作奠定了基礎(chǔ)，還為早期的API客戶開發(fā)了許多新穎的解決方案。

在GPT-4發(fā)布后，我被要求承擔(dān)新的挑戰(zhàn)，重新考慮OpenAI的安全系統(tǒng)愿景，并將所有工作集中到一個負(fù)責(zé)整個安全體系的團(tuán)隊。

這是我經(jīng)歷過的最困難、最緊張又令人興奮的事情之一。如今，安全系統(tǒng)團(tuán)隊擁有超過80位出色的科學(xué)家、工程師、項目經(jīng)理、政策專家，我為我們作為一個團(tuán)隊所取得的一切成就感到極為自豪。

我們見證了每次發(fā)布的核心——從GPT-4及其視覺和Turbo版本，到GPT Store、語音功能以及01版本。我們在訓(xùn)練這些模型以達(dá)到負(fù)責(zé)任和有益的目標(biāo)上設(shè)立了新的行業(yè)標(biāo)準(zhǔn)。

我特別為我們最新的成就o1預(yù)覽版感到自豪，它是我們迄今為止最安全的模型，展現(xiàn)了出色的抗破解能力，同時保持了模型的有用性。

我們的集體成就令人矚目：

• 我們訓(xùn)練模型如何處理敏感或不安全的請求，包括何時拒絕或不拒絕，并通過遵循一套明確的模型安全行為政策，達(dá)成安全與實用之間的良好平衡。
• 我們在每次模型發(fā)布中提升了對抗性魯棒性，包括針對破解的防御、指令層次結(jié)構(gòu)，并通過推理大幅增強(qiáng)了魯棒性。
• 我們設(shè)計了嚴(yán)格且富有創(chuàng)意的測試方法，使模型與《準(zhǔn)備框架》保持一致，并為每個前沿模型進(jìn)行了全面的安全測試和紅隊測試。
• 我們在詳細(xì)的模型系統(tǒng)卡中強(qiáng)化了對透明性的承諾。
• 我們開發(fā)了業(yè)內(nèi)領(lǐng)先的審核模型，具有多模式能力，并免費向公眾共享。我們當(dāng)前在一個更通用的監(jiān)控框架和增強(qiáng)安全推理能力的方向上工作，將賦能更多的安全工作流。
• 我們?yōu)榘踩珨?shù)據(jù)日志、度量、儀表盤、主動學(xué)習(xí)管道、分類器部署、推理時間過濾以及一種新的快速響應(yīng)系統(tǒng)奠定了工程基礎(chǔ)。

回顧我們所取得的成就，我為安全系統(tǒng)團(tuán)隊的每一個人感到無比自豪，并極為確信這個團(tuán)隊將繼續(xù)蓬勃發(fā)展。我愛你們。

在OpenAI的七年之后，我準(zhǔn)備好重新出發(fā)，探索一些新的領(lǐng)域。OpenAI正沿著火箭般的軌跡前進(jìn)，我衷心祝愿這里的每一個人一切順利。

附注：我的博客將繼續(xù)更新。我或許會有更多時間來更新它 & 可能也會有更多時間編寫代碼 。

愛你們的，
Lilian

鐵打的OpenAI，流水的安全主管

自O(shè)penAI成立以來，安全主管這個關(guān)鍵職位歷經(jīng)多次更替。

最早在2016年，OpenAI的安全主管由達(dá)里奧·阿莫代伊（Dario Amodei）擔(dān)任，在他的領(lǐng)導(dǎo)下，安全系統(tǒng)團(tuán)隊專注于減少現(xiàn)有模型和產(chǎn)品的濫用風(fēng)險，尤其是圍繞GPT-3的安全性開展了深入研究。

阿莫代伊主導(dǎo)了GPT-3的全面安全評估，以確保模型在發(fā)布前經(jīng)過嚴(yán)格的安全測試和評估，最大限度地降低潛在的濫用風(fēng)險。

他在OpenAI的工作為后來人工智能的安全治理奠定了重要基礎(chǔ)。

2021年，阿莫代伊離開OpenAI創(chuàng)立了Anthropic公司，繼續(xù)致力于人工智能的安全研究，推動構(gòu)建更具可信度和安全性的AI模型。

在阿莫代伊之后，還有短暫任職2個月的安全主管，亞歷山大·馬德里（Aleksander Madry）。

他在職期間主要聚焦對新模型的能力進(jìn)行評估，并開展內(nèi)部紅隊測試，以識別和緩解潛在的安全風(fēng)險。

雖然他的任期較短，但他在紅隊測試和威脅預(yù)測上的重要推進(jìn)，為OpenAI的安全實踐提供了新的視角和方法論。

在2023年7月后，馬德里轉(zhuǎn)而專注于“AI推理”方面的工作，離開了安全主管的職位。

在他之后的第三位安全主管，則是楊·萊克（Jan Leike），在2023年7月至2024年5月?lián)芜@一職務(wù)，和Ilya一起領(lǐng)導(dǎo)“超級對齊”項目，目標(biāo)是在四年內(nèi)解決超智能AI的對齊問題。

在此期間，楊·萊克推動了使用小型模型監(jiān)督和評估大型模型的研究，開創(chuàng)了對超人類能力模型進(jìn)行實證對齊的新方法。

這種方法對于理解和應(yīng)對高級人工智能模型的行為具有深遠(yuǎn)影響。

然而，由于與公司在安全和產(chǎn)品優(yōu)先級上的分歧，楊·萊克于2024年5月宣布離職。

盡管如此，他在對齊研究方面的貢獻(xiàn)，為后續(xù)人工智能的可控性研究奠定了理論和實踐基礎(chǔ)。

而翁荔則是于2024年7月?lián)蜲penAI安全主管。

關(guān)于翁荔

翁荔是OpenAI華人科學(xué)家、ChatGPT的貢獻(xiàn)者之一，本科畢業(yè)于北大，在印第安納大學(xué)伯明頓分校攻讀博士。

畢業(yè)之后的翁荔先是短暫的在Facebook實習(xí)了一段時間，第一份工作則是就職于Dropbox，擔(dān)任軟件工程師。

她于2018年加入OpenAI，在GPT-4項目中主要參與預(yù)訓(xùn)練、強(qiáng)化學(xué)習(xí)和對齊、模型安全等方面的工作。

在OpenAI去年底成立的安全顧問團(tuán)隊中，翁荔領(lǐng)導(dǎo)安全系統(tǒng)團(tuán)隊（Safety Systems），解決減少現(xiàn)有模型如ChatGPT濫用等問題。

翁荔在Google Scholar的引用量也達(dá)到了13000+次。

此前她提出的提出LLM外在幻覺（extrinsic hallucination）的博文也是非?；鸨?/p>

翁荔重點關(guān)注外在幻覺，討論了三個問題：產(chǎn)生幻覺的原因是什么？幻覺檢測，抵抗幻覺的方法。

關(guān)于研究的細(xì)節(jié)，可以點擊這里查看：萬字blog詳解抵抗辦法、產(chǎn)幻原因和檢測方式。

至于翁荔離職后的去向，量子位也會保持持續(xù)的關(guān)注。

參考鏈接：
[1]https://x.com/lilianweng/status/1855031273690984623
[2]https://www.linkedin.com/in/lilianweng/