OpenAI華人VP翁荔離職：北大校友，掌管安全，最近B站分享被熱議

十三 2024-11-09 14:34:56 來(lái)源：量子位

金磊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

就在剛剛，那個(gè)掌管OpenAI安全的北大校友，OpenAI研究副總裁（安全）翁荔，離職了。

翁荔是OpenAI華人科學(xué)家、ChatGPT的貢獻(xiàn)者之一。

北大畢業(yè)后，翁荔在2018年加入OpenAI，后來(lái)在GPT-4項(xiàng)目中主要參與預(yù)訓(xùn)練、強(qiáng)化學(xué)習(xí)和對(duì)齊、模型安全等方面的工作。

最著名的Agent公式也由她提出，即：Agent=大模型+記憶+主動(dòng)規(guī)劃+工具使用。

而就在前不久，她還剛剛現(xiàn)身2024 Bilibili 超級(jí)科學(xué)晚活動(dòng)，發(fā)表了《AI安全與“培養(yǎng)”之道》的主題演講。

在她宣布離職消息之后，包括OpenAI在內(nèi)的眾多同事發(fā)來(lái)了祝福：

翁荔的離職信

在推文中，翁荔也分享了他跟團(tuán)隊(duì)做的最后的道別。

以下為離職信的完整內(nèi)容。

親愛(ài)的朋友們：

我做出了一個(gè)非常艱難的決定，將于11月15日離開(kāi)OpenAI，這將是我在公司最后一天。

OpenAI是我成長(zhǎng)為科學(xué)家和領(lǐng)導(dǎo)者的地方，我將永遠(yuǎn)珍惜在這里與每一位共事的伙伴度過(guò)的時(shí)光。OpenAI團(tuán)隊(duì)一直是我的知己、導(dǎo)師以及我身份的一部分。

我仍然記得2017年初加入OpenAI時(shí)的那份好奇和熱情。當(dāng)時(shí)我們是一群懷抱著不可能與科幻未來(lái)夢(mèng)想的人。

我在這里開(kāi)始了我的全棧機(jī)器人挑戰(zhàn)之旅——從深度強(qiáng)化學(xué)習(xí)算法，到感知，再到固件開(kāi)發(fā)——目標(biāo)是教會(huì)一個(gè)簡(jiǎn)單的機(jī)械手如何解開(kāi)魔方。這花費(fèi)了整個(gè)團(tuán)隊(duì)兩年時(shí)間，但最終我們成功了。

當(dāng)OpenAI進(jìn)入GPT領(lǐng)域時(shí)，我們開(kāi)始探索如何將最先進(jìn)的AI模型應(yīng)用于現(xiàn)實(shí)世界。我建立了第一個(gè)應(yīng)用研究團(tuán)隊(duì)，推出了初始版本的微調(diào)API、嵌入API和審核端點(diǎn)，為應(yīng)用安全工作奠定了基礎(chǔ)，還為早期的API客戶(hù)開(kāi)發(fā)了許多新穎的解決方案。

在GPT-4發(fā)布后，我被要求承擔(dān)新的挑戰(zhàn)，重新考慮OpenAI的安全系統(tǒng)愿景，并將所有工作集中到一個(gè)負(fù)責(zé)整個(gè)安全體系的團(tuán)隊(duì)。

這是我經(jīng)歷過(guò)的最困難、最緊張又令人興奮的事情之一。如今，安全系統(tǒng)團(tuán)隊(duì)擁有超過(guò)80位出色的科學(xué)家、工程師、項(xiàng)目經(jīng)理、政策專(zhuān)家，我為我們作為一個(gè)團(tuán)隊(duì)所取得的一切成就感到極為自豪。

我們見(jiàn)證了每次發(fā)布的核心——從GPT-4及其視覺(jué)和Turbo版本，到GPT Store、語(yǔ)音功能以及01版本。我們?cè)谟?xùn)練這些模型以達(dá)到負(fù)責(zé)任和有益的目標(biāo)上設(shè)立了新的行業(yè)標(biāo)準(zhǔn)。

我特別為我們最新的成就o1預(yù)覽版感到自豪，它是我們迄今為止最安全的模型，展現(xiàn)了出色的抗破解能力，同時(shí)保持了模型的有用性。

我們的集體成就令人矚目：

• 我們訓(xùn)練模型如何處理敏感或不安全的請(qǐng)求，包括何時(shí)拒絕或不拒絕，并通過(guò)遵循一套明確的模型安全行為政策，達(dá)成安全與實(shí)用之間的良好平衡。
• 我們?cè)诿看文Ｐ桶l(fā)布中提升了對(duì)抗性魯棒性，包括針對(duì)破解的防御、指令層次結(jié)構(gòu)，并通過(guò)推理大幅增強(qiáng)了魯棒性。
• 我們?cè)O(shè)計(jì)了嚴(yán)格且富有創(chuàng)意的測(cè)試方法，使模型與《準(zhǔn)備框架》保持一致，并為每個(gè)前沿模型進(jìn)行了全面的安全測(cè)試和紅隊(duì)測(cè)試。
• 我們?cè)谠敿?xì)的模型系統(tǒng)卡中強(qiáng)化了對(duì)透明性的承諾。
• 我們開(kāi)發(fā)了業(yè)內(nèi)領(lǐng)先的審核模型，具有多模式能力，并免費(fèi)向公眾共享。我們當(dāng)前在一個(gè)更通用的監(jiān)控框架和增強(qiáng)安全推理能力的方向上工作，將賦能更多的安全工作流。
• 我們?yōu)榘踩珨?shù)據(jù)日志、度量、儀表盤(pán)、主動(dòng)學(xué)習(xí)管道、分類(lèi)器部署、推理時(shí)間過(guò)濾以及一種新的快速響應(yīng)系統(tǒng)奠定了工程基礎(chǔ)。

回顧我們所取得的成就，我為安全系統(tǒng)團(tuán)隊(duì)的每一個(gè)人感到無(wú)比自豪，并極為確信這個(gè)團(tuán)隊(duì)將繼續(xù)蓬勃發(fā)展。我愛(ài)你們。

在OpenAI的七年之后，我準(zhǔn)備好重新出發(fā)，探索一些新的領(lǐng)域。OpenAI正沿著火箭般的軌跡前進(jìn)，我衷心祝愿這里的每一個(gè)人一切順利。

附注：我的博客將繼續(xù)更新。我或許會(huì)有更多時(shí)間來(lái)更新它 & 可能也會(huì)有更多時(shí)間編寫(xiě)代碼 。

愛(ài)你們的，
Lilian

鐵打的OpenAI，流水的安全主管

自O(shè)penAI成立以來(lái)，安全主管這個(gè)關(guān)鍵職位歷經(jīng)多次更替。

最早在2016年，OpenAI的安全主管由達(dá)里奧·阿莫代伊（Dario Amodei）擔(dān)任，在他的領(lǐng)導(dǎo)下，安全系統(tǒng)團(tuán)隊(duì)專(zhuān)注于減少現(xiàn)有模型和產(chǎn)品的濫用風(fēng)險(xiǎn)，尤其是圍繞GPT-3的安全性開(kāi)展了深入研究。

阿莫代伊主導(dǎo)了GPT-3的全面安全評(píng)估，以確保模型在發(fā)布前經(jīng)過(guò)嚴(yán)格的安全測(cè)試和評(píng)估，最大限度地降低潛在的濫用風(fēng)險(xiǎn)。

他在OpenAI的工作為后來(lái)人工智能的安全治理奠定了重要基礎(chǔ)。

2021年，阿莫代伊離開(kāi)OpenAI創(chuàng)立了Anthropic公司，繼續(xù)致力于人工智能的安全研究，推動(dòng)構(gòu)建更具可信度和安全性的AI模型。

在阿莫代伊之后，還有短暫任職2個(gè)月的安全主管，亞歷山大·馬德里（Aleksander Madry）。

他在職期間主要聚焦對(duì)新模型的能力進(jìn)行評(píng)估，并開(kāi)展內(nèi)部紅隊(duì)測(cè)試，以識(shí)別和緩解潛在的安全風(fēng)險(xiǎn)。

雖然他的任期較短，但他在紅隊(duì)測(cè)試和威脅預(yù)測(cè)上的重要推進(jìn)，為OpenAI的安全實(shí)踐提供了新的視角和方法論。

在2023年7月后，馬德里轉(zhuǎn)而專(zhuān)注于“AI推理”方面的工作，離開(kāi)了安全主管的職位。

在他之后的第三位安全主管，則是楊·萊克（Jan Leike），在2023年7月至2024年5月?lián)芜@一職務(wù)，和Ilya一起領(lǐng)導(dǎo)“超級(jí)對(duì)齊”項(xiàng)目，目標(biāo)是在四年內(nèi)解決超智能AI的對(duì)齊問(wèn)題。

在此期間，楊·萊克推動(dòng)了使用小型模型監(jiān)督和評(píng)估大型模型的研究，開(kāi)創(chuàng)了對(duì)超人類(lèi)能力模型進(jìn)行實(shí)證對(duì)齊的新方法。

這種方法對(duì)于理解和應(yīng)對(duì)高級(jí)人工智能模型的行為具有深遠(yuǎn)影響。

然而，由于與公司在安全和產(chǎn)品優(yōu)先級(jí)上的分歧，楊·萊克于2024年5月宣布離職。

盡管如此，他在對(duì)齊研究方面的貢獻(xiàn)，為后續(xù)人工智能的可控性研究奠定了理論和實(shí)踐基礎(chǔ)。

而翁荔則是于2024年7月?lián)蜲penAI安全主管。

關(guān)于翁荔

翁荔是OpenAI華人科學(xué)家、ChatGPT的貢獻(xiàn)者之一，本科畢業(yè)于北大，在印第安納大學(xué)伯明頓分校攻讀博士。

畢業(yè)之后的翁荔先是短暫的在Facebook實(shí)習(xí)了一段時(shí)間，第一份工作則是就職于Dropbox，擔(dān)任軟件工程師。

她于2018年加入OpenAI，在GPT-4項(xiàng)目中主要參與預(yù)訓(xùn)練、強(qiáng)化學(xué)習(xí)和對(duì)齊、模型安全等方面的工作。

在OpenAI去年底成立的安全顧問(wèn)團(tuán)隊(duì)中，翁荔領(lǐng)導(dǎo)安全系統(tǒng)團(tuán)隊(duì)（Safety Systems），解決減少現(xiàn)有模型如ChatGPT濫用等問(wèn)題。

翁荔在Google Scholar的引用量也達(dá)到了13000+次。

此前她提出的提出LLM外在幻覺(jué)（extrinsic hallucination）的博文也是非?；鸨?/p>

翁荔重點(diǎn)關(guān)注外在幻覺(jué)，討論了三個(gè)問(wèn)題：產(chǎn)生幻覺(jué)的原因是什么？幻覺(jué)檢測(cè)，抵抗幻覺(jué)的方法。

關(guān)于研究的細(xì)節(jié)，可以點(diǎn)擊這里查看：萬(wàn)字blog詳解抵抗辦法、產(chǎn)幻原因和檢測(cè)方式。

至于翁荔離職后的去向，量子位也會(huì)保持持續(xù)的關(guān)注。

參考鏈接：
[1]https://x.com/lilianweng/status/1855031273690984623
[2]https://www.linkedin.com/in/lilianweng/