李沐重返母校，上交大秒變追星現(xiàn)場，大模型趨勢無保留分享

金磊 假裝發(fā)自 上交大

量子位 | 公眾號 QbitAI

什么是頂流？

AI大神李沐回母校做演講，直接讓上交大變成了大型追星現(xiàn)場——

現(xiàn)場可謂是人人從從眾眾，先來感受一下這個feel：

正式演講前的場外已經(jīng)是排起了大長龍，現(xiàn)場更是座無虛席。

即便是演講結(jié)束，李沐老師也是被熱情的上交大學(xué)子圍得里三層外三層：

許多學(xué)生更是把經(jīng)典的《動手學(xué)深度學(xué)習(xí)》這本書拿了過來讓李沐老師簽名：

如此場景，甚至上交大計算機科學(xué)與工程系教授俞勇都在朋友圈發(fā)出了這樣的感慨：

第一次親眼看到追“星”的盛況。

對此，李沐老師也回應(yīng)俞勇老師：

母校老師同學(xué)太熱情了。

而李沐老師此次回母校的演講，歸結(jié)兩個關(guān)鍵詞，就是LLM趨勢和個人職業(yè)選擇。

尤其是正值李沐老師創(chuàng)業(yè)一年半（BosonAI）之際，他在現(xiàn)場基于自己的經(jīng)歷，總結(jié)了三個不同階段中“每天在想的基本目標”：

• 大公司：你要想如何升職加薪
• 博士：你要想如何畢業(yè)
• 創(chuàng)業(yè)：你要想如何“退出”（要么上市，要么賣掉）

金句之多，內(nèi)容之精彩，引得在場師生掌聲、笑聲，聲聲不斷。

那么李沐老師具體都講了什么？我們繼續(xù)往下看。

（PS：完整演講視頻見文末）

談LLM趨勢

首先對于LLM的整體構(gòu)成，李沐認為主要分為三大方面，分別是數(shù)據(jù)、算力和算法。

而整個LLM的過程非常像煉丹，“數(shù)據(jù)”就是找材料的環(huán)節(jié)。

就好比小說里很多主角去深山里找材料一樣，搞數(shù)據(jù)是個很難的過程，是個體力活。

之后的“算力”就是煉“數(shù)據(jù)”，火量大一點、設(shè)備先進一點，能煉出來的東西就越好。

至于“算法”就相當于丹方，但這點與小說是不同的，因為它每年都在快速進步、變化，并且對細節(jié)的把控顯得格外重要。

對于LLM與上一次深度學(xué)習(xí)較大的區(qū)別，李沐認為：

之前的深度學(xué)習(xí)“煉丹”是比較穩(wěn)定的。

但現(xiàn)在LLM“煉丹”，（開發(fā)者或用戶）是希望有靈魂在里面的，它能夠解決很多問題。

接下來，李沐便針對上述的三大方面進行了詳細的講解。

在LLM硬件方面，李沐認為最難且最重要的是帶寬（bandwidth）。

這是因為現(xiàn)在大模型的訓(xùn)練很難通過一個機器來搞定，而要做分布式，那么瓶頸就會出現(xiàn)在帶寬上了。

畢竟現(xiàn)在基本上都會是多個服務(wù)器機架甚至是集群，即便兩個機架間隔1米，但由此帶來的哪怕幾納秒的延遲也是不能忍的。

帶寬之后，LLM硬件難點便是內(nèi)存（Memory）。

大模型在訓(xùn)練過程中，是把超大的數(shù)據(jù)壓縮到了一起，使得模型的體量動輒便是幾百個G，運行時的中間變量也會變得很大，因此需要很大的內(nèi)存：

在未來，很有可能一個200G內(nèi)存的芯片是走不動的。

這就意味著我們的模型大小一定程度上會被受限在某個尺寸；內(nèi)存不夠，模型就大不了。

在帶寬、內(nèi)存之后，便來到了算力（Compute），對此，李沐認為：

摩爾定律依舊有效。

而模型到了一定尺寸之后，資源（Resources）又成了問題，也就是供電。

李沐基于自身經(jīng)驗分享到，發(fā)現(xiàn)自己造一個電廠，比付電費的成本要低。

至于價格，當算力翻倍的時候，價格目前不一定會保持不變，可能是1.4倍的價格；但當市場競爭足夠，長期來看可以做到價格不變。

至于芯片的替代品（Alternatives），李沐認為谷歌的TPU、英特爾的Habana、AMD和Azure的芯片在做推理時是OK的；但訓(xùn)練方面，可能還需要幾年的時間。

李沐在此做了個小總結(jié)：

模型訓(xùn)練每年會以2倍的速度變得更便宜、更快、更大。

今年訓(xùn)練的大模型，到明年的價值就會減半。

在模型方面，李沐從語言（Language）、語音（Voice）、音樂（Music）、圖像（Image）和視頻（Video）等不同模態(tài)方面做了介紹，并認為多模態(tài)是當下的一個趨勢。

李沐還給目前不同模態(tài)的現(xiàn)狀打了個分：

• 語言模型：80-85分左右，目前是gets good的狀態(tài)。
• 音頻模型：70-80分左右，目前是good enough的狀態(tài)。
• 視頻模型：目前還是比較弱的。

基于此，李沐給出了一個推論：

在長文本上的人機交互變得越發(fā)流行。

至于大模型的應(yīng)用（Applicaitions），李沐認為它們本質(zhì)應(yīng)該是可以為用戶提供無限的人力資源。

而這些應(yīng)用目前在白領(lǐng)和藍領(lǐng)職場上“上崗”或“協(xié)作”的效果如何，李沐做了個表格。

從結(jié)果上來看，只有白領(lǐng)、文科屬性的簡單工作是hold得住的。

對于應(yīng)用的總結(jié)，李沐認為：

只要數(shù)據(jù)足夠，萬物即可被自動化。

基于李沐創(chuàng)業(yè)一年半的經(jīng)歷，他也分享了幾點技術(shù)上的思考。

首先，預(yù)訓(xùn)練（pre-training）和后訓(xùn)練（post-training）是同等重要的。

其次，沒有真正的垂直領(lǐng)域模型；再垂直的模型，它的通用能力也是差不了的。

以及，在大模型評測方面，李沐認為現(xiàn)在的評測太簡單了，即使各種刷榜，但用起來的時候就能感受到真實效果。

因此他認為評測這件事雖然很重要，但真正做起來卻很難。

除此之外，李沐還分享了幾個觀點：

• 數(shù)據(jù)定義了大模型的能力上限
• 自建GPU不會比租GPU便宜太多
• 大部分機器學(xué)習(xí)時代的經(jīng)驗，依舊適用于大模型時代

而除了技術(shù)之外，李沐在這次演講中也給上交大的師生們分享了自己在職場上的心得。

談個人“打卡式人生”

了解李沐的人或許對他的個人經(jīng)歷比較熟知了。

本科和研究生就讀于上海交通大學(xué)，而后赴香港科技大學(xué)和CMU深造，在伯克利和斯坦福擔(dān)任助理教授。

也曾任職于百度和亞馬遜等科技大廠，最近的一年半則是創(chuàng)業(yè)BosonAI（第二次創(chuàng)業(yè)）。

李沐回顧自己的過往，在現(xiàn)場戲稱為“打卡式人生”——什么樣的地方都轉(zhuǎn)過了一遍了。

那么李沐在經(jīng)歷了種種之后，是一種什么體驗？

這也正是我們文章開頭提到的“每天在想的基本目標”（精彩的內(nèi)容必須再提一遍）：

• 大公司：你要想如何升職加薪
• 博士：你要想如何畢業(yè)
• 創(chuàng)業(yè)：你要想如何“退出”（要么上市，要么賣掉）

基于這三個大方面，李沐基于自己的經(jīng)驗，將各自階段的優(yōu)點和缺點羅列了出來。

例如對于“打工人”這個角色，李沐的PPT剛出來，上交大的學(xué)子們便笑了出來：

讀博士期間的優(yōu)點和缺點是這樣的：

聊到創(chuàng)業(yè)的優(yōu)點，李沐形象地將這個過程比喻為：

可以體驗當（合法）海盜的樂趣，哪兒有錢就去搶一把，沒搶到就死掉了。

但李沐此次演講的兩個大part并非是割裂的，相反，是可以非常自然的做一個“有機結(jié)合”。

他認為應(yīng)該從“動機”出發(fā)去解決一個問題：

• 有學(xué)術(shù)價值：那就去做對LLM的理解（PhD/教職）
• 有商業(yè)價值：那就去做LLM上的新應(yīng)用（創(chuàng)業(yè)）
• 有成長價值：那就去做LMM上的產(chǎn)品落地（打工人）

最后，李沐老師也給了上交大學(xué)生一點Tips：

而談到創(chuàng)業(yè)歸來，就在前幾天，李沐在知乎寫的一篇文章《創(chuàng)業(yè)一年，人間三年》非?；鸨?/p>

不僅是李沐自述了創(chuàng)業(yè)一年來的進展，也在三言兩語之間，展現(xiàn)了大佬創(chuàng)業(yè)的勢能——

一開始沒打算直接做大模型，但張一鳴建議要創(chuàng)業(yè)就直接大模型；買卡需要排隊等不及只好給老黃寫信，沒想到老黃就給安排了；剛創(chuàng)業(yè)做游戲的“老蔡”就來交流過了——米哈游那個老蔡；在斯坦福和快手創(chuàng)始人宿華散步，感嘆創(chuàng)業(yè)心得……

總之，千字短文，但細節(jié)之精彩，故事之有趣，值得多讀幾遍：

《創(chuàng)業(yè)一年，人間三年》：
https://mp.weixin.qq.com/s/0JSbU4hvr_zrWIjbPV7FXA

One More Thing

目前已經(jīng)有B站網(wǎng)友Kimoyee將李沐老師此次的演講視頻上傳，感興趣的小伙伴們可以文末鏈接“深度學(xué)習(xí)”下哦~

參考鏈接：
[1]https://www.xiaohongshu.com/explore/66c926d9000000001f01929c
[2]https://www.xiaohongshu.com/explore/66c81dd5000000001f014761
[3]https://www.bilibili.com/video/BV1vBWDepECq/?spm_id_from=333.337.search-card.all.click