馬斯克xAI創(chuàng)始成員國內(nèi)首發(fā)聲：ChatGPT時代「亂世出英雄」，下一步要多用數(shù)學(xué)科學(xué)數(shù)據(jù)訓(xùn)練

衡宇 2023-08-05 12:33:43 來源：量子位

蕭簫 西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

馬斯克組局xAI“鉆研宇宙本質(zhì)”，創(chuàng)始成員高深又神秘。

相比專注于AI領(lǐng)域本身，這些成員大多具有基礎(chǔ)學(xué)科背景，接觸AI之前或是在研究基礎(chǔ)數(shù)學(xué)，或是在搞物理。

這家公司究竟要做什么？

就在這兩天，丘成桐弟子楊格（Greg Yang），成為第一個以“xAI創(chuàng)始成員”身份在國內(nèi)會議上發(fā)言的人。

在國際基礎(chǔ)科學(xué)大會的“基礎(chǔ)科學(xué)與人工智能”論壇上，他談及了自己一直以來、也是接下來要進(jìn)行的數(shù)學(xué)AI工作，以及對大模型當(dāng)前發(fā)展現(xiàn)狀的看法。

而他的個人經(jīng)歷也再次浮出水面，為更多人所關(guān)注。

接下來要進(jìn)行什么研究？

在國際基礎(chǔ)科學(xué)大會上，楊格就自己正在研究的方向進(jìn)行了一場演講。

演講主題，主要與AI和數(shù)學(xué)交叉學(xué)科有關(guān)——

從數(shù)學(xué)角度出發(fā)，建立一種描述神經(jīng)網(wǎng)絡(luò)架構(gòu)的統(tǒng)一編程語言Tensor Programs。

這是他從微軟研究院開始就一直鉆研的領(lǐng)域，繼2019年連續(xù)獨(dú)立發(fā)表的兩篇論文之后，迄今這一項(xiàng)目已經(jīng)有7篇相關(guān)論文問世。

具體來說，Tensor Programs項(xiàng)目有一個“短期目標(biāo)”和一個“長期目標(biāo)”。

短期來看，這個編程語言能實(shí)現(xiàn)在設(shè)計(jì)新神經(jīng)網(wǎng)絡(luò)架構(gòu)時，自動進(jìn)行初始化條件分析，并給出其中最優(yōu)的超參數(shù)初始化條件，從而讓模型訓(xùn)練更順利。畢竟此前，這一領(lǐng)域的初始化設(shè)置幾乎“全靠經(jīng)驗(yàn)”。

長期而言，Tensor Programs項(xiàng)目的目標(biāo)是開發(fā)大規(guī)模深度學(xué)習(xí)的“萬物理論”。

這也與楊格在推特說的、他在xAI要進(jìn)行的研究方向一致：

目前無論是大模型還是其他AI研究方向，都依舊沒有真正意義上解決AI“黑箱”的問題，換而言之，AI究竟走哪種研究方向（堆疊更大參數(shù)量的模型、還是MoE）收益更高，還沒有一個明確的結(jié)論。

因此，Tensor Programs最終目標(biāo)是找到一種理論上的規(guī)則，可以真正理解AI大模型的行為。

Tensor Programs最新的項(xiàng)目進(jìn)展，是微軟與OpenAI合作發(fā)表的論文μTransfer，楊格以共同一作的身份完成了這項(xiàng)研究。

這項(xiàng)研究的核心是幫助大模型找到最合適的超參數(shù)配置，從而替更多模型節(jié)省時間和算力成本，否則對于大模型來說，“重訓(xùn)”是一個非常浪費(fèi)參數(shù)的行為。

目前這項(xiàng)研究已經(jīng)開源，楊格也在這次的演講中著重以μTransfer為例，介紹了Tensor Programs項(xiàng)目的進(jìn)展。

從這幾篇研究論文側(cè)重的AI模型來看，大模型如今已經(jīng)是楊格研究的重點(diǎn)方向之一。

一個值得關(guān)注的點(diǎn)就是，μTransfer已經(jīng)用到GPT-4中了。

公眾號“安迪的寫作間”作者在楊格（Greg Yang）演講結(jié)束后，和他聊了聊：

下臺我問了他關(guān)于GPT-4用到μTransfer了嗎，給出肯定回答。

所以，他究竟如何看待大模型的未來？

在這次論壇的圓桌對話上，楊格也提到了自己對大模型發(fā)展方向的看法。

他認(rèn)為，繼續(xù)堆疊大模型參數(shù)可以讓模型效果越來越好，但這有個前提，即數(shù)據(jù)集的質(zhì)量和數(shù)量必須要上升。

以前收集網(wǎng)絡(luò)數(shù)據(jù)就行，如今訓(xùn)練集必須變得更偏向數(shù)學(xué)、科學(xué)、更有邏輯性，才能提高模型的科學(xué)和數(shù)學(xué)推理能力。

同時，楊格也給了如今拼搏在科研、交叉創(chuàng)新一線的AI研究人員一點(diǎn)建議，就是“Follow your dreams”：

這一階段的很多杰出的搞AI的人，像工程師、研究人員，有幾個都是像我這樣沒有讀博士，只是就想去干，拼一下就拼出結(jié)果的，像Alec Radford，GPT-1、GPT-2都是他自己做的，后來OpenAI就開始砸錢了。

曹操說的“亂世出英雄”，這是個新世界，你不要想一些外部環(huán)境，直接去干，很有可能擦出火花，這就是要你自己有熱情。

沒錯，當(dāng)年的楊格，打破了微軟研究院“只招博士生”的慣例，本科畢業(yè)就進(jìn)入了這一機(jī)構(gòu)工作。

他在學(xué)術(shù)經(jīng)歷上究竟有什么過人之處？

換而言之，為何他會成為馬斯克選中的“12人”之一？

楊格是誰？

楊格出生于湖南省，在北京讀完小學(xué)后，就去了美國，本科考上了哈佛數(shù)學(xué)系。

在哈佛的頭兩年，楊格參加了鼓手團(tuán)、咨詢團(tuán)等眾多活動。

大二結(jié)束時，有著音樂夢的他決定休學(xué)全身心投入音樂事業(yè)，成為一名電子舞曲音樂制作人和DJ，取藝名“Zeta”。

也是在此期間，楊格接觸到了人工智能。

一年半后，楊格發(fā)現(xiàn)自己的“真愛”終歸還是數(shù)學(xué)，于是又回到了哈佛。

讀完春季學(xué)期的課程后，他又休學(xué)兩年，這一次他沒有執(zhí)著于音樂，而是快速學(xué)習(xí)了數(shù)學(xué)和理論計(jì)算機(jī)科學(xué)，以及人工智能的前沿進(jìn)展，此外還廣泛涉獵物理學(xué)、生物學(xué)和神經(jīng)科學(xué)。

此外，他還研究起了神經(jīng)圖靈機(jī)，并結(jié)合可微拓?fù)鋵W(xué)中的思路，提出“Lie Access Neural Turing Machine”，發(fā)表于ICLR。

再次回哈佛，楊格師從丘成桐教授。

△楊格與丘成桐，圖源：楊格推特

2017年，楊格順利從哈佛畢業(yè)，拿到了數(shù)學(xué)學(xué)士學(xué)位和計(jì)算機(jī)科學(xué)碩士學(xué)位。并獲得了2018年摩根獎榮譽(yù)提名（Honorable Mention for the 2018 Frank and Brennie Morgan Prize for Outstanding Research in Mathematics by an Undergraduate Student）。

畢業(yè)后，老師丘成桐曾問楊格“你畢業(yè)去哪兒”，他說“我要去谷歌”。

丘成桐說“谷歌這種很差的公司就不要去了，我有個朋友叫沈向洋，我馬上給他打電話”。

后來，沈向洋讓菲爾茲獎獲得者M(jìn)ichael Freedman面試了楊格：

面試之后（Michael）說這個小孩不得了，那時候他才剛剛本科畢業(yè)，但在哈佛至少是前五名（的水平）。

我（沈向洋）當(dāng)時就跟楊格講，你把谷歌的Offer拿來給我看一看，我給你加一塊錢，就來微軟吧。

最后楊格選擇了微軟。而進(jìn)入微軟后楊格也獲得了沈向洋的高度評價：

微軟研究院平時只招博士生的，楊格作為一個本科畢業(yè)生進(jìn)了微軟研究院，不僅進(jìn)了微軟研究院，過去這五年還做得無比優(yōu)秀，特別是在GPT發(fā)展過程中做了舉足輕重的貢獻(xiàn)。

進(jìn)入微軟后，楊格的重要成果之一就是持續(xù)開發(fā)上面提到的“Tensor Programs”框架，其中還用GPT-3對所提出的超參數(shù)遷移方法進(jìn)行了驗(yàn)證，相關(guān)論文已收錄于NeurIPS、ICML等頂會：

此外，谷歌學(xué)術(shù)數(shù)據(jù)顯示，楊格從2015開始發(fā)布論文，至今已有34篇。

其中引用量最高為415，這也是他在微軟的工作，楊格在這個項(xiàng)目中擔(dān)任主要指導(dǎo)（Primary mentor）。

目前，楊格個人主頁和推特主頁等均已更新，已離開微軟研究院，加入xAI，接下來將繼續(xù)做數(shù)學(xué)工作。

楊格做出了新一輪的選擇，但從第一次休學(xué)過后，他再也沒有放棄對數(shù)學(xué)的熱愛。

在這次的論壇上，楊格也被問到，當(dāng)時去從事音樂后又轉(zhuǎn)到數(shù)學(xué)研究，是怎樣一直堅(jiān)定走到現(xiàn)在的？

楊格回答道：

其實(shí)就是個人愛好，在我大二休學(xué)之前，我一直都是數(shù)學(xué)比較好的人，可能會覺得一輩子在這種（數(shù)學(xué)研究中）。之后雖然我去搞音樂，但有段時間自己思考后，發(fā)現(xiàn)其實(shí)我個人還是很熱愛數(shù)學(xué)。

這里面可能有外在動機(jī)（motivation extrinsic）和內(nèi)在動機(jī)（motivation intrinsic）。像數(shù)學(xué)答卷老師給你100分，你覺得很高興，這是外在的。這種外在和內(nèi)在混在一起，可能感覺不到自己真心的愛好，但是后來休息一段時間以后，感覺（對數(shù)學(xué)）是發(fā)自內(nèi)心的熱愛，之后就走了這么長的路。

One More Thing

還記得前段時間楊格給大伙兒推薦的300多本（大部分是數(shù)學(xué)）書嗎？

不少網(wǎng)友看過之后，表示“書單實(shí)在太長了，不是普通人能看完的”，還有網(wǎng)友調(diào)侃“能不能用GPT幫我總結(jié)一下”……

論壇結(jié)束后，我們也和楊格聊了聊，了解了他對ChatGPT等大模型的一些看法。

提問：看到您前段時間推薦了大概300本多書，有很大一部分是數(shù)學(xué)書，您認(rèn)為AI是否有可能把它直接總結(jié)成一個核心的要點(diǎn)給我們？平時在日常生活中，您是不是也會用GPT-4一樣的模型，去幫助做一些數(shù)學(xué)的基礎(chǔ)研究什么的？

楊格：我覺得AI的總結(jié)能力（summarization）現(xiàn)在應(yīng)該挺好的了，做簡單的總結(jié)應(yīng)該沒問題。但你要再深入理解它里面的道理，像是一些數(shù)學(xué)道理的話，可能AI現(xiàn)在的幫助還不是那么大。

日常生活的話，是會經(jīng)常用到（大模型）。

提問：可以透露一下主要是用在哪些方面嗎？

楊格：我覺得最有用的方法就是寫程序吧。比如有些程序你確實(shí)可以自己寫，但自己寫的話，一是可能要花幾個小時，二是覺得這種東西不是特別有趣，所以像這種工作你就可以用ChatGPT來幫你做。

提問：相當(dāng)于您完成核心思考，然后ChatGPT幫您實(shí)現(xiàn)代碼的工作。

楊格：其實(shí)就是實(shí)現(xiàn)它已經(jīng)在網(wǎng)上看到很多很多遍、所以它能寫得很好的一些程序。

但如果現(xiàn)在你想寫一個復(fù)雜的程序、像是有什么邏輯性的程序的話，讓ChatGPT來做可能還不一定做那么好。但如果是那種你寫了幾百遍的程序了，你不想再寫，就可以用ChatGPT完成。

參考鏈接：
[1]https://arxiv.org/abs/2203.03466
[2]https://github.com/microsoft/mup
[3]https://mp.weixin.qq.com/s/s7MGUCHoEfyXhUcQAScltw