大模型111人：谷歌和OpenAI的人才戰(zhàn)爭(zhēng)

衡宇 2023-03-06 13:07:59 來(lái)源：量子位

衡宇 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

當(dāng)我們圍觀ChatGPT炸開(kāi)的多場(chǎng)激戰(zhàn)時(shí)，還有什么是暗流下激戰(zhàn)的？

今天要關(guān)注的，不是違背“非盈利”初心的OpenAI，也不是商業(yè)模式面臨顛覆的谷歌搜索。把目光從公司層面挪開(kāi)，看向另一場(chǎng)已經(jīng)白熱化的戰(zhàn)爭(zhēng)——

借著的ChatGPT燎原之勢(shì)，2月中旬同一天的30分鐘內(nèi)，就有2位谷歌大腦大模型人才先后官宣入職OpenAI，其中之一Jason Wei是思維鏈（chain-of-thought，CoT）的最早一作。

大模型交鋒背后，谷歌和OpenAI的人才戰(zhàn)爭(zhēng)打得正酣。和動(dòng)輒上億美元的投融資同樣重要，AI人才也是兵家必爭(zhēng)的財(cái)富。

但其實(shí)，AI人才流動(dòng)、被搶奪，早開(kāi)始在ChatGPT攪動(dòng)漩渦之前。

GPT系列：8人聯(lián)創(chuàng)新公司，成谷歌對(duì)戰(zhàn)ChatGPT一步棋

勢(shì)如破竹的ChatGPT，積攢了OpenAI從GPT一路迭代至InstructGPT的技術(shù)經(jīng)驗(yàn)與實(shí)力。

ChatGPT基于OpenAI的GPT-3.5創(chuàng)造。2018年和2019年，OpenAI分別推出了1.17億參數(shù)的GPT-1和15億參數(shù)的GPT-2；2020年，大力出奇跡的GPT-3問(wèn)世，訓(xùn)練參數(shù)達(dá)到1750億，涌現(xiàn)出一些人腦獨(dú)特的能力，引起轟動(dòng)；而后又在2022年初推出全新的InstructGPT模型，只要13億參數(shù)，效果就比GPT-3更好。

《紐約時(shí)報(bào)》披露，原本下一代GPT-4在OpenAI內(nèi)部幾乎準(zhǔn)備就緒，只待發(fā)布；去年11月中旬，高層突然宣布新任務(wù)：兩周后發(fā)布免費(fèi)聊天機(jī)器人應(yīng)用，代號(hào)“Chat with GPT3.5”，這就是今天見(jiàn)到的ChatGPT。

51位作者，其中2人參與3次論文創(chuàng)作

GPT系列共發(fā)表了4篇論文，51位作者參與其中。

作者名單中出現(xiàn)最頻繁的是Alec Radford和Ilya Sutskever兩位，均參與GPT-1到3的論文創(chuàng)作。前者是OpenAI的ML研究員，也是indico.io的聯(lián)創(chuàng)，谷歌學(xué)術(shù)上他被引用最多的研究是DC-GAN；后者更為人所熟知，OpenAI聯(lián)創(chuàng)之一，也是OpenAI首席科學(xué)家，主導(dǎo)了GPT系列以及DALLE系列模型的研發(fā)。

另有5人在GPT系列論文中2次貢獻(xiàn)了自己的力量：

51人組成的人才圖鑒，學(xué)歷一欄中名校印記俯拾皆是。據(jù)不完全統(tǒng)計(jì)，出現(xiàn)頻次最多的是MIT和斯坦福大學(xué)，曾在耶魯大學(xué)、UC伯克利、哈佛大學(xué)、牛津大學(xué)攻讀學(xué)位的人也不在少數(shù)。也不乏在這些名校中輾轉(zhuǎn)求學(xué)的人，譬如表格中提到的OpenAI前研究副總裁Dario Amodei，先后就讀于普林斯頓大學(xué)和斯坦福大學(xué)；再比如InstructGPT背后論文共同作者之一Gretchen Krueger，MIT、哈佛大學(xué)、哥倫比亞大學(xué)都是他的母校。

出走團(tuán)隊(duì)打造ChatGPT競(jìng)品對(duì)話(huà)式AI

毫無(wú)疑問(wèn)，GPT系列背后的51人引領(lǐng)了大語(yǔ)言模型的創(chuàng)新風(fēng)潮。從GPT系列結(jié)束戰(zhàn)斗后，不少人從OpenAI脫離。除開(kāi)GPT-3共同作者、哥大博士在讀的Melanie Subbiah本就不屬于OpenAI，50人里共有16位人才從OpenAI流失。

其中8位的最終流向是AI初創(chuàng)公司Anthropic。更準(zhǔn)確地說(shuō)，包括Dario Amodei、GPT-3論文一作Tom B. Brown在內(nèi)的一批核心人才不滿(mǎn)OpenAI成為微軟附庸——因被注資，OpenAI要使用Azure超算來(lái)搞研究，要將技術(shù)授權(quán)給微軟，甚至要給微軟的投資活動(dòng)籌集資金，這與OpenAI創(chuàng)立的初衷（關(guān)注高級(jí)AI安全）相悖。

最終，包括8位GPT系列作者在內(nèi)，共11名OpenAI前員工怒而離職，于2021年創(chuàng)辦Anthropic，要搞能控制、可解釋的AI，重心放在生成式AI上。

△出走創(chuàng)辦Anthropic的GPT系作者

1月底，Anthropic開(kāi)始內(nèi)測(cè)聊天機(jī)器人Cladue。同為生成式對(duì)話(huà)AI，與ChatGPT的同臺(tái)競(jìng)賽不可避免，二者各有千秋，最終測(cè)評(píng)結(jié)果：Claude在12項(xiàng)任務(wù)中有8項(xiàng)更強(qiáng)。

關(guān)于Anthropic的最新消息讓這家“復(fù)仇者聯(lián)盟”愈發(fā)走到人們熟悉臺(tái)前。月初，谷歌向它投資3億多美元（約合人民幣20.3億元），拿下后者約10%的股份。交易條款要求，Anthropic需要從谷歌云計(jì)算部門(mén)購(gòu)買(mǎi)計(jì)算資源。這恰好與3年前，OpenAI接受微軟高達(dá)10億美元的注資，將微軟定位獨(dú)家云提供商所呼應(yīng)。

換句話(huà)說(shuō)，Dario Amodei帶著Anthropic走上了3年前所不齒的OpenAI的老路，接受金主爸爸提供的算力來(lái)進(jìn)行技術(shù)開(kāi)發(fā)?，F(xiàn)如今，Anthropic最新估值50億美元，除谷歌外，已有的投資人包括Facebook聯(lián)創(chuàng)Dustin Moskovitz，谷歌前CEO、現(xiàn)技術(shù)顧問(wèn)Eric Schmidt等人。

也曾有人轉(zhuǎn)投谷歌門(mén)下

OpenAI GPT系作出走16人，Anthropic是他們的主要流向，剩下8人中，有3位第一時(shí)間投入谷歌門(mén)下。

其一是GPT-1的三作Tim Salimans，2018年7月他就履新谷歌大腦，base阿姆斯特丹，擔(dān)任職位為高級(jí)管理科學(xué)家；其二是GPT-2的四作David Luan，2020年9月起他加入谷歌任主管，工作1年多后離職，后來(lái)和Transformer論文作者Ashish Vaswani、Niki Parmar一起，創(chuàng)辦了一家叫Adept的公司，目標(biāo)是創(chuàng)造讓人和計(jì)算機(jī)能夠協(xié)同工作的通用人工智能；第三位叫a，在2021年3月加入谷歌大腦。

時(shí)至今日，Adept和Anthropic兩家AI公司的聲量比不上風(fēng)頭正盛的OpenAI和其強(qiáng)勁對(duì)手DeepMind，不過(guò)各自在AI產(chǎn)業(yè)界頗有建樹(shù)，甚至拿出Claude這種可與ChatGPT一較高下的產(chǎn)品。從這兩家公司的今日成就不難側(cè)面看出，GPT系作者是的確不是等閑之輩。

LaMDA：1/4成員只有本科學(xué)歷

梳理完GPT系論文作者現(xiàn)狀，鏡頭轉(zhuǎn)向谷歌的LaMDA論文背后團(tuán)隊(duì)，作者共60名。和GPT系作者團(tuán)一樣，LaMDA作者團(tuán)隊(duì)同樣不乏耀眼的名校背景，斯坦福校友最多，統(tǒng)共有6人；其次是哥倫比亞大學(xué)，有三人曾在哥大就讀；接著是浙江大學(xué)、比拉科技學(xué)院、杜克大學(xué)、上海交通大學(xué)、耶魯大學(xué)、臺(tái)灣大學(xué)，這6所大學(xué)出現(xiàn)了2次。

不過(guò)有一說(shuō)一，相比較而言，LaMDA團(tuán)隊(duì)的名校光環(huán)更少，成員的學(xué)校背景中常出現(xiàn)阿比林基督教大學(xué)、伊比利亞美洲大學(xué)、哈丁西蒙斯大學(xué)等類(lèi)似的非頂尖名校。

15位作者只有本科學(xué)歷，多數(shù)人出身計(jì)算機(jī)專(zhuān)業(yè)

還有三個(gè)特點(diǎn)在LaMDA作者履歷中顯現(xiàn)。

第一，至少有17人在某個(gè)求學(xué)階段主修學(xué)科為計(jì)算機(jī)工程/科學(xué)，計(jì)算機(jī)學(xué)科背景貫穿求學(xué)始終的人也不在少數(shù)，像Hongrae Lee，先是在首爾國(guó)立大學(xué)拿下計(jì)算機(jī)科學(xué)本碩學(xué)歷后，又赴往哥倫比亞大學(xué)攻讀計(jì)算機(jī)科學(xué)博士學(xué)位。

第二，據(jù)不完全統(tǒng)計(jì)，至少有15位LaMDA論文作者只擁有本科學(xué)歷，這些人中有一半就讀的專(zhuān)業(yè)是計(jì)算機(jī)工程/科學(xué)。

第三，有7位LaMDA論文作者在谷歌工作了10年以上，資歷最老的是Igor Krivokon，截至今年2月，他在谷歌的工作年限為19年又5個(gè)月；Will Rusch也在谷歌工作了19年，從美國(guó)南加州大學(xué)電氣工程系畢業(yè)后，他就成為了谷歌的一份子，直到今天。

△Igor Krivokon?△伊戈?duì)枴た死镂挚?/span>

上文提到，有5%的GPT系作者跑到了對(duì)家谷歌干活，相比之下，LaMDA論文作者，沒(méi)有一位跳槽到對(duì)家OpenAI，很穩(wěn)。那么，究竟是什么樣的公司，能夠得到出走的LaMDA論文作者的法眼？

答案是兩家AI初創(chuàng)公司，一家是Inflection AI，另一家是Character.AI。

出走后，成AI初創(chuàng)公司Inflection AI&Character.AI創(chuàng)始團(tuán)隊(duì)

先來(lái)聊聊Inflection AI，這家機(jī)器學(xué)習(xí)初創(chuàng)公司是LaMDA作者中的Joe Fenton，和從OpenAI出來(lái)的Rewon Child（3位投奔谷歌的出走成員之一）共同創(chuàng)立，創(chuàng)始團(tuán)隊(duì)中還有LinkedIn聯(lián)創(chuàng)Reid Hoffman和DeepMind創(chuàng)始成員、谷歌人工智能產(chǎn)品與政策副總裁Mustafa Suleyman，陣容十分豪華。LaMDA論文作者，曾擔(dān)任谷歌研究工程師的Maarten Bosma在公司成立后也被挖走，現(xiàn)為Inflection AI技術(shù)人員。

據(jù)了解，這家公司的總體目標(biāo)是利用人工智能幫助人類(lèi)與計(jì)算機(jī)“對(duì)話(huà)”。去年5月，Inflection AI獲得了2.25億美元的A輪融資，資金來(lái)源尚不清楚，公司估值超過(guò)12億美金。

以及，現(xiàn)有5名LaMDA論文作者進(jìn)入Character.AI就職。

Character.AI的創(chuàng)始人Noam Shazeer是谷歌前首席軟件工程師，不僅參與了LaMDA的研究，還是Transformer論文作者之一。杜克大學(xué)本科畢業(yè)后，2000年年底，Noam Shazeer加入谷歌，是谷歌最重要的早期員工之一。雖然中途一度離職，但截至他2021年10月離職創(chuàng)辦新公司，共在谷歌工作了17年又5個(gè)月。Character.AI的現(xiàn)任總裁也是LaMDA論文作者，Daniel De Freitas，加入谷歌前，他曾在微軟Bing做軟件工程師。

實(shí)際上，LamDA論文發(fā)表時(shí)，Noam Shazeer和Daniel De Freitas都已經(jīng)從谷歌離職，開(kāi)始籌備Character.AI了。據(jù)報(bào)道，Character AI已經(jīng)創(chuàng)建了一個(gè)基于LaMDA的神經(jīng)語(yǔ)言模型聊天機(jī)器人Web應(yīng)用程序，能夠生成類(lèi)似人類(lèi)的文本響應(yīng)并參與上下文對(duì)話(huà)。

額外提一點(diǎn)，除LaMDA背后作者外，谷歌的大模型人才近期流動(dòng)也都比較頻繁。先不用說(shuō)BERT模型四位作者之一，被稱(chēng)為BERT之父的Jacob Devlin今年1月剛剛離開(kāi)谷歌加入OpenAI，看看去年ChatGPT發(fā)布頁(yè)面的致謝名單里，就有Barret Zoph等5個(gè)人，都是谷歌前員工，他們?cè)贑hatGPT問(wèn)世前加入OpenAI，在調(diào)整和準(zhǔn)備ChatGPT中發(fā)揮了關(guān)鍵作用。此外，The Information消息披露，進(jìn)入今年1月，又有至少4名谷歌大腦成員加入OpenAI。

危急存亡之秋，谷歌嗅到了人才流失的危險(xiǎn)，相繼推出了一系列舉措。除卻重金投資OpenAI出走團(tuán)隊(duì)打造的Anthropic外，其旗下專(zhuān)注語(yǔ)言大模型領(lǐng)域的“藍(lán)移團(tuán)隊(duì)”（Blueshift Team）宣布，正式加入DeepMind，旨在共同提升LLM能力——先進(jìn)行陣列自行調(diào)整，集中內(nèi)部力量，迎接OpenAI炮火。

人才大戰(zhàn)里的華人面孔

今年年初，大模型人才的跳槽愈發(fā)頻繁。從谷歌加入OpenAI的谷歌大腦4人之一中，包括華人顧世翔（Shane Gu），谷歌大腦日本團(tuán)隊(duì)前成員，劍橋大學(xué)博士，本科在多倫多大學(xué)師從三巨頭之一Hinton。去年5月，只要加上一句“讓我們一步一步地思考”就能讓GPT-3做數(shù)學(xué)題的準(zhǔn)確率暴漲61%這事，就是顧世翔參與的研究發(fā)現(xiàn)。

像他這樣，在谷歌和OpenAI的人才爭(zhēng)奪大戰(zhàn)中出現(xiàn)的華人面孔還有多少？據(jù)不完全統(tǒng)計(jì)，共有16人，LaMDA論文作者里就有14人，占87.5%，也就是說(shuō)華人面孔占據(jù)了大模型111人中的14.4%。

這里要著重提2個(gè)人。一位是美籍華人Ed Chi，1973年出生，現(xiàn)為谷歌杰出科學(xué)家，早年以應(yīng)用資訊氣味理論預(yù)測(cè)網(wǎng)站可用性而聞名。

從美國(guó)明尼蘇達(dá)大學(xué)雙城分校取得碩士學(xué)位后，Ed Chi于1997年至2011年期間，在帕洛阿爾托研究中心（PARC）擔(dān)任研究科學(xué)家。2011年，Ed Chi以高級(jí)研究科學(xué)家的身份從PARC離職，成為谷歌的一名研究科學(xué)家。2012年，他擔(dān)任任人機(jī)交互領(lǐng)域最負(fù)盛名的學(xué)術(shù)會(huì)議CHI的技術(shù)項(xiàng)目聯(lián)合主席。2017年，Ed Chi被提升為谷歌首席科學(xué)家。

另一位要提到的是歐陽(yáng)龍（Long Ouyang），他參與了與ChatGPT相關(guān)的7大技術(shù)項(xiàng)目中的4項(xiàng)研究，包括InstructGPT、webGPT、RLHF和ChatGPT，是InstructGPT論文的一作，RLHF論文的第二作者。

革命性科技浪潮背后，人才頻繁流動(dòng)

梳理后不難看到，谷歌和OpenAI雖為大模型重鎮(zhèn)，但人才流動(dòng)其實(shí)是很尋常的事。僅僅在本文涉及的人員里，GPT-2論文四作和Transformer論文一作和共同創(chuàng)辦的Adept，不到半年就亮出了新公司的首個(gè)大模型ACT-1；Anthropic更是憑借對(duì)話(huà)機(jī)器人Cluade成為谷歌和OpenAI大戰(zhàn)中的一把利刃。

△大模型人才從OpenAI和谷歌出走后，創(chuàng)立的AI初創(chuàng)公司

總體而言，爆炸性的ChatGPT讓大模型背后的人才更加收到世人關(guān)注，對(duì)這些人來(lái)說(shuō)，ChatGPT帶來(lái)的風(fēng)口也是他們必須迎頭面對(duì)的挑戰(zhàn)。

由此提出一個(gè)思考：做類(lèi)ChatGPT產(chǎn)品，中國(guó)的優(yōu)勢(shì)在哪里？

很大程度上，構(gòu)筑大模型堆參數(shù)、堆數(shù)據(jù)的大力出奇跡之道，其實(shí)是中國(guó)團(tuán)隊(duì)向來(lái)擅長(zhǎng)的事情。但不可否認(rèn)，小公司負(fù)擔(dān)不起高昂的天價(jià)成本，大公司需要綜合考慮整體戰(zhàn)略，種種因素，從不同角度成為一個(gè)中國(guó)版ChatGPT誕生的外在桎梏。

如此一來(lái)，破除外在束縛需用巧力。在算法、數(shù)據(jù)等都存在差距的現(xiàn)實(shí)條件下，人才，或許能成為這場(chǎng)轟轟烈烈全球擂臺(tái)賽里的破局點(diǎn)。大模型背后的每一個(gè)參與者和理念、數(shù)據(jù)、技術(shù)擁有同等的重要價(jià)值。中國(guó)不缺人，更不缺人才，從GPT系論文和LaMDA論文背后的華人作者數(shù)量更可以看到AI人才的實(shí)力，人才的聚集能形成人才規(guī)模核心競(jìng)爭(zhēng)力。

The battle of AGI never ends！埋頭研究，伸手搶人的現(xiàn)象，已經(jīng)在國(guó)內(nèi)出現(xiàn)。想招人的，想找工作的，都可以開(kāi)始準(zhǔn)備了。