AI大神李沐B站走紅!連博導(dǎo)們都在追更,還親自帶你逐段讀懂論文,網(wǎng)友:帶B站研究生吧
教你讀3遍弄懂1篇論文
明敏 夢(mèng)晨 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
什么樣的B站Up主,讓AI專(zhuān)業(yè)的導(dǎo)師們紛紛推薦給學(xué)生看,甚至導(dǎo)師自己也追更?
又是什么樣的Up主,讓網(wǎng)友直呼“簡(jiǎn)直是做慈善”。
沒(méi)錯(cuò),他就是亞馬遜資深首席科學(xué)家、AI大牛李沐。
這個(gè)學(xué)期,李沐在斯坦福大學(xué)開(kāi)了一門(mén)《實(shí)用機(jī)器學(xué)習(xí)》的新課,除了斯坦福學(xué)生能在線(xiàn)下學(xué)到以外,課程的錄像、PPT也都在網(wǎng)上免費(fèi)公開(kāi)。
不過(guò)B站上能看到的版本卻不是課程錄像,而是李沐回到家里再專(zhuān)門(mén)用中文重新錄制的!
課程錄制的地點(diǎn),是他在家里車(chē)庫(kù)搭建的攝影棚。而錄制的時(shí)間,或許是帶娃的空檔,或許是深夜。
來(lái)聽(tīng)課的網(wǎng)友紛紛表示,“簡(jiǎn)直是把飯送到嘴邊”、“還有什么理由不學(xué)?”。
正課之外,李沐最近還新“開(kāi)坑”了經(jīng)典論文精讀系列。
講了入門(mén)必學(xué)的AlexNet和ResNet論文后,李沐發(fā)起投票問(wèn)問(wèn)大家還想聽(tīng)哪篇論文。
Transformer高票當(dāng)選,李沐火速更新,逐段精讀長(zhǎng)達(dá)一個(gè)半小時(shí)。
李沐給論文精讀系列開(kāi)的GitHub倉(cāng)庫(kù)也在不到一周時(shí)間狂攬超過(guò)1500星,還上了熱榜。
網(wǎng)友甚至喊話(huà):建議沐哥直接帶B站研究生!
還有幾篇李沐覺(jué)得值得講的新論文,如10月剛剛在ImageNet上刷到SOTA的“不深的網(wǎng)絡(luò)”。
如果你還想聽(tīng)老師講解哪篇論文,李沐說(shuō)“歡迎大家在討論區(qū)里提供(點(diǎn))建議(歌)”。
于是討論區(qū)的畫(huà)風(fēng)就成了這樣。
一門(mén)正課再加上穿插的論文精讀,李沐幾乎成了一位日更Up主,粉絲數(shù)也在短短幾個(gè)月時(shí)間突破10萬(wàn)。
網(wǎng)友甚至喊話(huà):建議沐哥直接帶B站研究生!
那么,他的課究竟有什么魅力?為什么如此受歡迎?
他講課突出一個(gè)動(dòng)手
論文精讀這個(gè)系列開(kāi)始于一次投票。
本來(lái)李沐問(wèn)的是大家想聽(tīng)“三分鐘講論文,知道是什么就行”還是“深入講解,弄懂每一句話(huà)”。
沒(méi)想到有很多網(wǎng)友留言“其實(shí)更希望了解到底該怎么樣讀一篇論文”。
李沐覺(jué)得這個(gè)想法很好,第二天就錄了一期《如何讀論文》作為系列開(kāi)篇,把自己多年的心得總結(jié)成實(shí)用的流程。
李沐讀論文的方法,是讀三遍:
第一遍,讀完標(biāo)題、摘要后直接跳到結(jié)論部分,然后可以“稍微瞄一眼”主要的圖和表。
這一遍只需要花十幾分鐘,目的是了解這篇論文大概講了什么、質(zhì)量如何,以便快速判斷這篇論文是否適合自己。
第二遍,如果決定繼續(xù)讀下去,就可以從頭到尾粗讀一遍,重點(diǎn)關(guān)注論文使用的方法和之前有何不同。
這一遍也不用關(guān)注太多細(xì)節(jié),公式等細(xì)節(jié)可以先忽略掉,判斷一下了解到這里就可以了,還是真的需要仔細(xì)精讀。
另外如果感覺(jué)一篇論文值得仔細(xì)讀但太難了,李沐分享的技巧是先去讀它引用的之前的研究,再回頭讀這一篇門(mén)檻會(huì)低一些。
第三遍,也是最后一遍精讀,要弄懂論文中每一句話(huà)在說(shuō)什么,李沐推薦讀的時(shí)候“腦補(bǔ)”一下如果是自己在做這個(gè)工作可以怎么做。
這樣讀完后好像是自己動(dòng)手做了一遍似的,即使合上文章也能回憶起許多細(xì)節(jié)。
三遍閱讀花費(fèi)的時(shí)間逐漸增加,中途如果發(fā)現(xiàn)其實(shí)不需要再讀下去了就隨時(shí)停止以節(jié)省時(shí)間。
用上這個(gè)方法,就能從海量論文中選出那些自己真正需要去詳細(xì)了解的。
如果到這里你還沒(méi)學(xué)會(huì),那還可以去看李沐老師實(shí)際動(dòng)手演示用這個(gè)方法讀AlexNet、RestNet的視頻。
除了學(xué)習(xí)讀論文的方法和論文本身的內(nèi)容,這些視頻中還能聽(tīng)到從今天的視角看來(lái)這些經(jīng)典論文哪些部分已經(jīng)過(guò)時(shí)了,哪些能作為精髓保留下來(lái)。
另外還有李沐自己在行業(yè)多年的經(jīng)歷和體會(huì),像AlexNet論文作者的工作報(bào)告李沐當(dāng)年可是在現(xiàn)場(chǎng)聽(tīng)的。
d2l是《動(dòng)手學(xué)深度學(xué)習(xí)》課程的英文Diving Into Deep Learning的縮寫(xiě)。
讀論文系列里先講方法再實(shí)際動(dòng)手演示的風(fēng)格,在李沐別的課程中也有體現(xiàn)。
李沐在B站上傳的第1門(mén)課就叫《動(dòng)手學(xué)深度學(xué)習(xí)v2》,也是他的書(shū)《動(dòng)手學(xué)深度學(xué)習(xí)》的配套課程,這本書(shū)已被全球100多所大學(xué)選為教材。
這門(mén)課的核心理念為“深度學(xué)習(xí)的關(guān)鍵是動(dòng)手”,每節(jié)課都提供一個(gè)可運(yùn)行的Jupyter筆記本。
最新的《實(shí)用機(jī)器學(xué)習(xí)》關(guān)注的是機(jī)器學(xué)習(xí)在工業(yè)場(chǎng)景的應(yīng)用,也為作業(yè)提供了Jupyter筆記本和數(shù)據(jù)集供大家上手操作。
聽(tīng)這樣的課程,大家表示“如沐春風(fēng)”。對(duì)講課的李沐,大家叫他一聲“沐神”。
你的線(xiàn)上導(dǎo)師
而沐神除了課講得精彩,課前課后大家提的各種需求,他也都是盡可能滿(mǎn)足。
1月注冊(cè)賬號(hào),3月正式開(kāi)課,8月底《動(dòng)手深度學(xué)習(xí)v2》更新完結(jié),沒(méi)歇幾天又開(kāi)了新課《斯坦福21秋季:實(shí)用機(jī)器學(xué)習(xí)中文版》。
如果要評(píng)選B站學(xué)習(xí)區(qū)肝帝,李沐老師必須擁有提名!
接近日更的長(zhǎng)期高產(chǎn),讓粉絲紛紛留言“老師不用這么拼”、“別累著了”。
除了發(fā)視頻,動(dòng)態(tài)區(qū)也常常能看到李沐和大家互動(dòng)。
最近大佬的日常是曬娃,10月份已經(jīng)發(fā)了3次和娃有關(guān)的動(dòng)態(tài)了。
大家覺(jué)得這可賺大了,好像看到大佬的朋友圈一樣。李沐卻說(shuō)朋友圈里已經(jīng)把朋友都曬沒(méi)了。
一來(lái)一往之間粉絲們和李沐熟悉了起來(lái),總是忍不住皮一把。
李沐曬了家里后院種的玫瑰,被粉絲建議收集成數(shù)據(jù)集,再就地辦個(gè)玫瑰圖像分類(lèi)比賽,模型可以叫RoseNet。
比發(fā)朋友圈更常見(jiàn)的,是沐神在評(píng)論區(qū)為粉絲們答疑解惑。
有同學(xué)對(duì)學(xué)習(xí)應(yīng)用機(jī)器學(xué)習(xí)上心里沒(méi)底、不知道自己的數(shù)學(xué)功底夠不夠用。
沐神看到后不僅給出了自己的看法,還怕粉絲看不懂,后續(xù)又詳細(xì)補(bǔ)充了一條回復(fù)。
當(dāng)然了,他時(shí)不時(shí)也會(huì)和大家一起玩?zhèn)€梗。
和你聊完學(xué)習(xí)聊生活人生,這不就是活脫脫的一位線(xiàn)上導(dǎo)師?
有網(wǎng)友就表示,以后自己研究生復(fù)試時(shí)都要說(shuō)師從李沐老師(doge)。
而且李沐對(duì)于自己的課程,也非常用心。
他認(rèn)為長(zhǎng)視頻能讓大家看下去音質(zhì)是非常重要的。為此他特意剁手買(mǎi)了兩個(gè)300多美元的專(zhuān)業(yè)麥克風(fēng),錄試音視頻讓粉絲來(lái)選哪個(gè)效果最好。
即使是中文課程也想配上字幕,為了讓不方便開(kāi)聲音的粉絲靜音也能學(xué)習(xí),換了能自動(dòng)識(shí)別字幕的剪輯軟件,但發(fā)現(xiàn)并不好用。
這一吐槽“嚇”得網(wǎng)友們趕緊來(lái)推薦軟件,生怕他會(huì)因此斷更。
此外,李沐的這些課程都是自己抽時(shí)間錄制,基本都是在晚上哄娃睡覺(jué)后開(kāi)始。
尤其是論文精講這個(gè)系列,錄一篇文章的時(shí)間大概是5個(gè)小時(shí),沐神一般都是每天深夜找半個(gè)小時(shí)或1個(gè)小時(shí)做一點(diǎn),差不多10天才能出一期。
這也讓人不禁感嘆:沐神真的太勤奮了。
尤其是論文精講這個(gè)系列,錄一篇文章的時(shí)間大概是5個(gè)小時(shí),沐神一般都是每天深夜找半個(gè)小時(shí)或1個(gè)小時(shí)做一點(diǎn),差不多10天才能出一期。
這也讓人不禁感嘆:沐神真的太勤奮了。
作為工業(yè)界大牛,李沐這些年在教學(xué)上反而花的功夫不少。
他曾在UC伯克利擔(dān)任客座教授,去年又開(kāi)始在斯坦福以兼職講師身份授課。
在視頻平臺(tái)上開(kāi)課也不是他第一次嘗試了。
此前他在UC伯克利時(shí),就曾把課程視頻上傳到Y(jié)ouTube上,讓更多人免費(fèi)學(xué)習(xí)。
他和Alex Smola等人編寫(xiě)的《動(dòng)手學(xué)深度學(xué)習(xí)》也已被視為業(yè)內(nèi)入門(mén)深度學(xué)習(xí)的優(yōu)秀教材。
顯然,李沐在降低AI入門(mén)門(mén)檻這件事上,已經(jīng)身體力行多年,這也是眾多AI從業(yè)者仰慕李沐的原因之一。
而李沐更讓人佩服的,莫過(guò)于他開(kāi)掛的人生經(jīng)歷了。
李沐本科、研究生均畢業(yè)于上海交通大學(xué),其中本科就讀于上交以培養(yǎng)計(jì)算機(jī)科學(xué)家而聞名的ACM班。
2011年,由于拿到的offer并沒(méi)有合適的導(dǎo)師,李沐北上前往百度工作,擔(dān)任高級(jí)研究開(kāi)發(fā)員。
在這期間,他創(chuàng)建了一套分布式機(jī)器學(xué)習(xí)廣告系統(tǒng),具體來(lái)看就是使用機(jī)器學(xué)習(xí)來(lái)預(yù)測(cè)一個(gè)廣告是不是會(huì)被用戶(hù)點(diǎn)擊。
同年年底,李沐收到了卡內(nèi)基梅隆大學(xué)(CMU)的offer,2012年8月正式赴美讀博。
讀博期間,李沐一邊進(jìn)修更多AI領(lǐng)域的知識(shí),一邊也在大膽實(shí)踐。
他曾和陳天奇在GitHub上創(chuàng)建DMLC組織,就是這個(gè)社區(qū)開(kāi)發(fā)出了大名鼎鼎的深度學(xué)習(xí)框架——MXNet。
博四時(shí),李沐以兼職身份去了亞馬遜,繼續(xù)做MXNet的相關(guān)應(yīng)用。
畢業(yè)后,他選擇留在亞馬遜,如今已成為亞馬遜首席科學(xué)家。
根據(jù)自己讀博、工作的經(jīng)歷,李沐都寫(xiě)了長(zhǎng)文總結(jié),曾在知乎上攬贊上萬(wàn)。
而且大神對(duì)寫(xiě)文這事兒似乎很感興趣,前不久還在B站發(fā)表了《用隨機(jī)梯度下降來(lái)優(yōu)化人生》一文。
深度學(xué)習(xí),深度人生。有點(diǎn)哲學(xué)家那味兒了。
具體內(nèi)容大家可以移步B站圍觀(guān)~
李沐B站個(gè)人主頁(yè):
https://space.bilibili.com/1567748478