本科學(xué)歷但創(chuàng)造出GPT，奧特曼盛贊為「愛因斯坦級」天才，OpenAI總裁更是直言： 只要他想要的，我們都給。

白交 2025-01-01 14:11:38 來源：量子位

白小交 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

奧特曼稱他是愛因斯坦級別的天才；OpenAI總裁更是直言：

只要他想要的，我們都給。

Alec Radford大神離職OpenAI，現(xiàn)在牽出更多細節(jié)：

改變世界的GPT，竟然是在Jupyter notebook上誕生的。

而他只負責提供背后的靈感，剩下的由工程師來解決。

（網(wǎng)友：那在Excel也可以做到這一點）

奧特曼高度評價：沒有他應(yīng)有的知名度。

他在Jupyter notebooks上發(fā)明了GPT

在奧特曼帖子下面，更多細節(jié)軼事被扒了出來。

比如事實是，他差點就放棄了將語言作為通往 AGI 的道路。

據(jù)這位OpenAI員工描述，在Alec在職最后一天他們有機會第一次謀面，他向Alec詢問了堅持語言模型背后的原因。

大概在2017年，Alec花了幾年時間來研究RNN，但是進展不大。

于是Alec就感覺很沮喪，就想著要不要退出OpenAI。最終他決定休息一個月來調(diào)整，重新思考自己的方案。

回來后不久，Ilya就跟他推薦了谷歌前同事的新論文，也就是那篇著名的Attention is all you Need。

于是乎，他就開始了新的架構(gòu)嘗試，并將其與無監(jiān)督預(yù)訓(xùn)練相結(jié)合。

結(jié)果效果非常好，GPT時代就此開始。

同樣還有CLIP，他曾為此閉關(guān)一年來解決計算機視覺問題，最終才得以推出。CLIP也成為后續(xù)解決2D計算機視覺問題的基礎(chǔ)。

不過能造就GPT、CLIP，也是少不了OpenAI諸位同事對他的全力支持——

當時他在Jupyter notebooks上編寫代碼，然后就讓研究工程師在那里翻譯。好奇心勝過一切。

OpenAI總裁Greg Brockman曾提到過這位天才：只要他想要的，我們都給。

當時是在2023年SXSW大會上，Greg Brockman表示，Alec Radford對語言非常感興趣，一直在研究如何構(gòu)建小型聊天機器人。

我們非常喜歡他，所以我們非常支持他做任何他想做的事情。與此同時，我們也在投資一些嚴肅的項目，我們就想，你知道，無論亞歷克需要什么，我們都會確保他得到。

也正因如此，2017誕生了第一個有趣的結(jié)果——一個根據(jù)亞馬遜評論訓(xùn)練出來的模型，它可以預(yù)測下一個角色、下一個角色、下一個字母是什么。實際上，它學(xué)會了最先進的情感分析分類器。你可以給它一個句子，它會說這是正面的還是負面的。這聽起來并不令人印象深刻，但就是在這一刻，我們知道它一定能成功?！?/p>

還有同行們表示，他的一些想法是整個AI領(lǐng)域研究者們重要靈感來源。并且他從來也不吝惜地去分享他的時間和想法。

據(jù)這位朋友分享，當時他在學(xué)習ML，在MNIST訓(xùn)練一個普通的MLP，結(jié)果遇到了一個愚蠢的小問題。

然后Alec沒有敷衍，又或者是幫忙修復(fù)這個小問題，而是立即開始教關(guān)于CNN方面的知識。

奧特曼：愛因斯坦級別的天才

他畢業(yè)于富蘭克林·歐林工程學(xué)院（Franklin W. Olin College of Engineering）。

據(jù)網(wǎng)友透露，這是個規(guī)模很小、以項目為導(dǎo)向的工程學(xué)院。其聲譽與Rose-Hulman理工學(xué)院和Harvey Mudd College等學(xué)校類似。

他們的學(xué)生在項目方向上往往有很大的個人自由度，并能直接接觸到大量的教師和研究工作，這與其他院校的研究生經(jīng)歷不相上下。

隨后就加入OpenAI，一干就是八年。

截至今日，他的論文被引數(shù)已超過19萬。被引量排名前三的論文，分別與GPT-3、CLIP和GPT-2相關(guān)。

這三篇論文都為今天的ChatGPT打下了重要基礎(chǔ)，實際上，Alec幾乎參與了OpenAI所有的重大突破。

除了被引量最高的這三篇，從第一代GPT到GPT-4o的作者名單中，Alec的名字都赫然在列，并且前兩代中都是第一作者。

Alec同樣作為一作的CLIP，則是OpenAI在多模態(tài)路線上的重要成果，甚至在整個行業(yè)都極具影響力；同時，Alec也是OpenAI初代繪圖模型DALL·E的參與者。

其他模態(tài)方面，OpenAI開源的語音識別系統(tǒng)Whisper，一作仍然是他。不過，最新的o1模型貢獻者列表中已經(jīng)沒有了Alec的名字。

接下來，奧特曼表示，期待他以獨立開發(fā)者的身份與OpenAI合作。

網(wǎng)友：不用博士學(xué)位也能干大事？

Alec Radford的經(jīng)歷，牽出來更多研究層面上的討論。

是不是不用博士學(xué)位也能干大事了？
Stability AI創(chuàng)始人回憶，他們自己的博士占比也不高，大概80個研究者/工程師中只有16個博士。

這樣看，博士學(xué)位是不是就不是招聘中的必選項了。

但也有持反對意見，這樣以偏概全未免有點夸張和過于簡單化了。博士學(xué)位不僅僅是一個證書，更是一個教會你如何批判性思考和系統(tǒng)地解決復(fù)雜問題的旅程。

而圍繞這些細節(jié)，另一個討論的主角是Jupyter notebook，網(wǎng)友們直呼：是個誕生天才想法的地方。

所以新的一年，從開始學(xué)習如何使用notebook開始吧。

參考鏈接：

[1]https://x.com/sama/status/1872666383210971560
[2]https://x.com/Yuchenj_UW/status/1874171107705811285
[3]https://x.com/ahatamiz1/status/1874228975175950487?s=46&t=R82LqSqpRZuVhcZxqH_Vlw
[4]https://x.com/priceindex/status/1873134352395051093?s=46&t=R82LqSqpRZuVhcZxqH_Vlw