Claude團(tuán)隊(duì)喜提清華物理學(xué)霸姚順宇！兩個(gè)Yao Shunyu都投身大模型了

夢(mèng)晨 2024-10-28 16:23:48 來(lái)源：量子位

金磊 夢(mèng)晨 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

清華物理系傳奇特獎(jiǎng)得主Yao Shunyu，正式投身大模型，加入Anthropic的Claude團(tuán)隊(duì)。

有意思的是，另一位Yao Shunyu，今年剛剛加入隔壁OpenAI。

注意別搞混哦，前者是學(xué)物理的姚順宇，后者是學(xué)計(jì)算機(jī)的姚順雨。（手動(dòng)狗頭）

這次加入Anthropic的姚順宇，此前就可謂是名聲大噪，本科期間就在凝聚態(tài)物理領(lǐng)域做出突破性貢獻(xiàn)。

具體而言，他首次在國(guó)際上給出了關(guān)于非厄米系統(tǒng)的拓?fù)淠軒Ю碚?，并?zhǔn)確預(yù)測(cè)了相關(guān)現(xiàn)象。

此外，他還定義了兩個(gè)新的物理概念，這些工作都發(fā)表在了世界物理頂級(jí)期刊Phys. Rev. Lett.上。

其研究的含金量之高，甚至有位211大學(xué)副教授給出過(guò)這樣的評(píng)價(jià)：

我們這邊即使是教授，也沒(méi)有能超過(guò)姚順宇同學(xué)目前本科期間的物理水平的。

在清華本科畢業(yè)之后，姚順宇便去斯坦福攻讀博士。

從領(lǐng)英的履歷來(lái)看，他在今年畢業(yè)之后有2個(gè)動(dòng)態(tài)的變化，一個(gè)是到加州伯克利做了幾個(gè)月博士后，再之后就正式加入了Anthropic。

而在今年8月加入OpenAI的姚順雨，同樣也是來(lái)自清華，是姚班學(xué)霸+聯(lián)席會(huì)主席（還是個(gè)Rapper）。

和搞物理的姚順宇一樣，姚班的姚順雨在科研上的成就也是具備不小的影響力：

• 思維樹(shù)（Tree of Thoughts）：讓LLM反復(fù)思考，大幅提高推理能力。
• SWE-bench：一個(gè)大模型能力評(píng)估數(shù)據(jù)集。
• SWE-agent：一個(gè)開(kāi)源AI程序員。

毫不夸張的說(shuō)，幾乎每項(xiàng)研究都在圈里產(chǎn)生了不小的漣漪；并且非常明顯的一點(diǎn)是，它們都是深深圍繞著大模型而展開(kāi)。

而現(xiàn)如今，兩位同為清華出身，同叫Yao Shunyu的人，在AI大模型上相匯了。

那么除了這兩位Yao Shunyu，清華青年一代還有哪些人才投身大模型？

清華搞大模型的還有誰(shuí)？

說(shuō)到這個(gè)話題，不得不提的還有馬騰宇和陳丹琦。

倆人當(dāng)年是同班同學(xué)，清華姚班2008級(jí)校友，并且之后都拿了具有“諾獎(jiǎng)風(fēng)向標(biāo)”之稱的斯隆獎(jiǎng)。

馬騰宇博士就讀于普林斯頓大學(xué)，導(dǎo)師是理論計(jì)算機(jī)科學(xué)家、兩屆哥德?tīng)柂?jiǎng)得主Sanjeev Arora教授。

博士畢業(yè)后，MIT、哈佛、斯坦福等頂尖高校都給了他助理教授的Offer，馬騰宇最終選擇了斯坦福。

去年年底，馬騰宇還正式宣布大模型創(chuàng)業(yè)了——?jiǎng)?chuàng)立Voyage AI，透露將帶隊(duì)打造目前最好的嵌入模型，還會(huì)提供專(zhuān)注于某個(gè)領(lǐng)域或企業(yè)的定制化模型。

斯坦福人工智能實(shí)驗(yàn)室主任Christopher Manning、AI領(lǐng)域著名華人學(xué)者李飛飛等三名教授擔(dān)任Voyage AI的學(xué)術(shù)顧問(wèn)。

陳丹琦這邊，清華姚班完成本科學(xué)業(yè)后，2018年又在斯坦福大學(xué)拿下博士學(xué)位，主攻NLP，最終成為普林斯頓大學(xué)計(jì)算機(jī)科學(xué)系助理教授、普林斯頓語(yǔ)言與智能項(xiàng)目副主任，共同領(lǐng)導(dǎo)普林斯頓NLP小組。

其個(gè)人主頁(yè)顯示，“這些天主要被開(kāi)發(fā)大模型吸引”，正在研究主題包括：

• 檢索如何在下一代模型中發(fā)揮重要作用，提高真實(shí)性、適應(yīng)性、可解釋性和可信度。
• 大模型的低成本訓(xùn)練和部署，改進(jìn)訓(xùn)練方法、數(shù)據(jù)管理、模型壓縮和下游任務(wù)適應(yīng)優(yōu)化。
• 還對(duì)真正增進(jìn)對(duì)當(dāng)前大模型功能和局限性理解的工作感興趣，無(wú)論在經(jīng)驗(yàn)上還是理論上。

除了這兩位，業(yè)界、學(xué)術(shù)界姚班校友在搞大模型的還有很多。

之前火爆全網(wǎng)的大模型原生應(yīng)用《完蛋！我被大模型包圍了》及其續(xù)作《我把大模型玩壞了》，就是由姚班學(xué)霸帶隊(duì)開(kāi)發(fā)的。

游戲作者范浩強(qiáng)，曠視6號(hào)員工。當(dāng)年以IOI金牌、保送清華姚班、高二實(shí)習(xí)等傳奇事跡被譽(yù)為天才少年。如今他已是曠視科技研究總經(jīng)理，谷歌學(xué)術(shù)h-index 32的行業(yè)大佬。

馬斯克xAI首個(gè)研究成果——Tensor Programs VI，共同一作中也有姚班校友的身影。

Tensor Programs VI是xAI創(chuàng)始成員、丘成桐弟子楊格（Greg Yang）之前Tensor Programs系列工作的延續(xù)，論文重點(diǎn)探討了“如何訓(xùn)練無(wú)限深度網(wǎng)絡(luò)”。

據(jù)說(shuō)Tensor Programs相關(guān)成果，在GPT-4中已有應(yīng)用。為解讀論文，楊格本人當(dāng)時(shí)還專(zhuān)門(mén)在X上進(jìn)行了一場(chǎng)直播分享。

共同一作Dingli Yu，本科畢業(yè)于清華姚班，目前Dingli Yu也快要在普林斯頓計(jì)算機(jī)科學(xué)系博士畢業(yè)了。

還有很多很多…………

那么回到這次搞物理的姚順宇加入Anthropic，還有一個(gè)話題值得說(shuō)道說(shuō)道——Why change。

Anthropic創(chuàng)始人：物理學(xué)家學(xué)AI就是快

學(xué)物理轉(zhuǎn)行AI，其實(shí)已經(jīng)是學(xué)術(shù)界的一個(gè)“傳統(tǒng)藝能”。

畢竟被譽(yù)為“人工智能教母”的李飛飛，就是從物理轉(zhuǎn)向研究計(jì)算機(jī)視覺(jué)的一個(gè)鮮明例子。

她在普林斯都研究物理的過(guò)程中意識(shí)到，宇宙的根本問(wèn)題不只是物理，還可以是關(guān)于生命與智能的。

這次姚順宇加入的Anthrophic AI，里面物理出身的研究員尤其不少。

創(chuàng)始人Dario Amodei自己就是物理學(xué)家，本科斯坦福物理專(zhuān)業(yè)，博士普林斯頓生物物理專(zhuān)業(yè)，可以算是李飛飛的師弟。

轉(zhuǎn)折點(diǎn)在博士畢業(yè)第三年，Dario Amodei加入百度，曾與吳恩達(dá)一起工作，解決語(yǔ)音識(shí)別和自然語(yǔ)言處理中的問(wèn)題，后來(lái)就在AI這條路上一路走到今天了。

Anthrophic AI招人也對(duì)物理背景的人才確實(shí)也有偏好，創(chuàng)始人去年8月還在一檔節(jié)目中解釋過(guò)理由：

……部分原因是物理學(xué)家學(xué)東西非?？?/strong>。如果我們雇一個(gè)擁有物理博士學(xué)位的人，他們中的大部分可以快速學(xué)習(xí)機(jī)器學(xué)習(xí)并做出貢獻(xiàn)。

我們的幾位創(chuàng)始人，Jared Kaplan、Sam McCandlish，包括我自己，都是物理學(xué)家?，F(xiàn)在團(tuán)隊(duì)里可能有30-40個(gè)物理學(xué)家。

機(jī)器學(xué)習(xí)仍然不是一個(gè)非常有深度的領(lǐng)域（a field that has an enourmous amount of depth），所以他們能夠很快上手。

隔壁OpenAI也不乏物理專(zhuān)業(yè)出身的人才，如Sora團(tuán)隊(duì)中就有北大物理系校友靖禮。

Sora這類(lèi)視頻生成模型，也被定義為“物理世界的模擬器”。其背后的擴(kuò)散模型，靈感更是從物理中的熱力學(xué)借鑒而來(lái)。

……

不過(guò)要說(shuō)今年“物理”和“人工智能”兩個(gè)詞聯(lián)系最緊密的一次，莫過(guò)于剛剛頒發(fā)的諾貝爾物理獎(jiǎng)了。

在頒獎(jiǎng)活動(dòng)中，諾獎(jiǎng)組委會(huì)特別提到：

物理學(xué)為機(jī)器學(xué)習(xí)的發(fā)展貢獻(xiàn)了工具，相應(yīng)的，現(xiàn)在機(jī)器學(xué)習(xí)也惠及了物理研究。

例如，機(jī)器學(xué)習(xí)長(zhǎng)期應(yīng)用于希格斯粒子發(fā)現(xiàn)等諾獎(jiǎng)?lì)I(lǐng)域，用于處理海量數(shù)據(jù);它還可用于減少引力波測(cè)量中的噪聲，或搜尋系外行星。

近年來(lái)，這項(xiàng)技術(shù)還開(kāi)始被用于計(jì)算和預(yù)測(cè)分子及材料的性質(zhì)，如計(jì)算決定蛋白質(zhì)功能的分子結(jié)構(gòu)，或設(shè)計(jì)性能更佳、可用于高效太陽(yáng)能電池的新型材料。

只能說(shuō)以后，科學(xué)發(fā)展到今天，學(xué)科之間的融合趨勢(shì)會(huì)越來(lái)越明顯了。

往好了想，只要有能力，學(xué)什么都不耽誤跟上時(shí)代的潮流。

往壞了想，其他學(xué)科的人才可以隨時(shí)跨界來(lái)卷你。

最后，附上英偉達(dá)科學(xué)家Jim Fan總結(jié)的“AI技術(shù)與相關(guān)物理原理對(duì)應(yīng)表”。

參考鏈接：
[1]https://www.linkedin.com/in/shunyu-yao-204158285/
[2]https://www.youtube.com/watch?v=Nlkk3glap_U

版權(quán)所有，未經(jīng)授權(quán)不得以任何形式轉(zhuǎn)載及使用，違者必究。