PyTorch迎來5歲生日，創(chuàng)始人帶領(lǐng)大一實(shí)習(xí)生開發(fā)：沒想到會(huì)這么成功

曉查 2022-01-22 13:41:40 來源：量子位

曉查 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

本周，PyTorch迎來了自己的5歲生日，官方發(fā)布可一條Twitter慶祝。

今天是PyTorch公開發(fā)布5周年！我們沒想到會(huì)走這么遠(yuǎn)，但我們現(xiàn)在達(dá)成了這些成就——2000貢獻(xiàn)者，9萬項(xiàng)目，GitHub上390萬行“import torch”。

你細(xì)看，官方推文還復(fù)古了一把，圖片里用上了5年前的原始Logo。

追憶5年前，首個(gè)公開版PyTorch還不支持Windows，Python最新版還是3.5，當(dāng)時(shí)蘋果操作系統(tǒng)還叫OS X，PyTorch的“老父親”Meta還叫Facebook。

再看一眼現(xiàn)在PyTorch的安裝指導(dǎo)頁面，不禁讓人感嘆深度學(xué)習(xí)發(fā)展太快。

在這條Twitter下許多程序員發(fā)出祝福，一改學(xué)術(shù)圈推文下冷清的常態(tài)。AI硬件的“老大哥”英偉達(dá)也發(fā)來賀電：

還有網(wǎng)友前來“搗亂”，玩起了HR梗：招聘具有7年P(guān)yTorch的程序員。

作為最受歡迎的機(jī)器學(xué)習(xí)框架（之一），PyTorch誕生的過程并不是想象的那般具有傳奇性。

Meta官方邀請(qǐng)了LeCun與PyTorch創(chuàng)始人一起回顧了當(dāng)年那段歷史。

大牛追憶誕生歷史

時(shí)間回到2016年，當(dāng)時(shí)的Facebook AI還在使用Caffe、Torch框架。Caffe是賈揚(yáng)清在加州大學(xué)伯克利分校攻讀博士期間創(chuàng)建的項(xiàng)目，用C++編寫。Torch則是基于Lua語言開發(fā)。

PyTorch的創(chuàng)始人Soumith Chintala回憶說，當(dāng)時(shí)很多框架安裝都非常麻煩，甚至需要手動(dòng)gcc編譯源代碼，如果要用GPU加速還要安裝正確的CUDA版本，一切都像在碰運(yùn)氣。

△ Soumith Chintala

TensorFlow的出現(xiàn)簡(jiǎn)化了很多工作。

但是還有很多研究是基于Caffe、Torch框架，像Torch這樣的框架，開發(fā)者甚至還要每組網(wǎng)絡(luò)層手動(dòng)編寫微分，然后再以一種復(fù)雜的方式組合在一起。

所以，Chintala希望開發(fā)在此基礎(chǔ)新一代框架，它可以自動(dòng)微分，而且使用動(dòng)態(tài)計(jì)算圖。他在Torch的GitHub頁公開了自己的想法。

Chintala拉來一個(gè)實(shí)習(xí)生Adam Paszke，后者當(dāng)時(shí)只是華沙大學(xué)一年級(jí)學(xué)生。后來又有兩位核心成員Sam Gross和Gregory Chanan入伙。

△ Adam Paszke

在經(jīng)歷了一個(gè)半月的緊張開發(fā)后，PyTorch的雛形誕生。

Chintala邀請(qǐng)來自不同公司和大學(xué)的大約100名開發(fā)者當(dāng)“小白鼠”，言辭近乎懇求：“你能試用一個(gè)小時(shí)嗎？用它來做研究，看看有沒有問題?！?/p>

事實(shí)上，這些早期用戶給了非常多有用的反饋，幫助PyTorch小隊(duì)一周內(nèi)修復(fù)了30多個(gè)bug。

據(jù)Chintala說，不少試用科研人員喜愛上了PyTorch，很多人寫論文就用上了PyTorch，甚至論文在公開發(fā)布之前就已經(jīng)在PyTorch上發(fā)表。

PyTorch在起步階段就取得了不錯(cuò)的成就。

經(jīng)過5年的發(fā)展，PyTorch已經(jīng)和TensorFlow成為最受歡迎的兩大框架。

與TensorFlow之爭(zhēng)

從PyTorch誕生至今，它與TensorFlow孰優(yōu)孰劣的口水戰(zhàn)就從來沒有挺過。

如今，PyTorch已經(jīng)在學(xué)術(shù)論文圈對(duì)TensorFlow形成碾壓的態(tài)勢(shì)。

據(jù)統(tǒng)計(jì)Hugging Face上有85%的模型是PyTorch獨(dú)家的，TensorFlow的比例為8%

如果把目光聚焦到前30個(gè)受歡迎的項(xiàng)目，那么所有項(xiàng)目都有PyTorch代碼，而超過10個(gè)模型是沒有TensorFlow代碼的。

對(duì)八家頂尖研究期刊數(shù)據(jù)的統(tǒng)計(jì)顯示，PyTorch誕生當(dāng)年，僅有7%論文的開源代碼由其寫就。而到了2021年，將近80%的論文都使用PyTorch框架。

根據(jù)對(duì)Paper with Code數(shù)據(jù)的統(tǒng)計(jì)，PyTorch論文比例穩(wěn)步增長(zhǎng)，達(dá)到了60%，TensorFlow的份額被蠶食到僅11%。

2019年，有55%的TensorFlow使用者“叛逃”到PyTorch陣營(yíng)。

不過在產(chǎn)業(yè)界TensorFlow還有非常重要的地位，由于TensorFlow強(qiáng)大的部署框架和端到端擴(kuò)展平臺(tái)，對(duì)于部署生產(chǎn)模型的人來說還是非常重要。

但是在工業(yè)界也有越來越多的人選擇PyTorch，比如特斯拉的Autopilot、深度學(xué)習(xí)研發(fā)框架Catalyst等。

面對(duì)PyTorch的強(qiáng)勢(shì)地位，甚至連TensorFlow的TensorBoard可視化工具也加入了對(duì)PyTorch的支持。

另外，PyTorch官方Twitter的關(guān)注者里，谷歌大神Jeff Dean也赫然在列。

下一個(gè)五年，PyTorch會(huì)朝怎樣的方向發(fā)展，Chintala表示未來會(huì)有更多AI技術(shù)商業(yè)化，PyTorch將更加重視在產(chǎn)業(yè)界的作用。

看來PyTorch和TensorFlow的下一場(chǎng)對(duì)決是不可避免了。

僅僅5年就獲得巨大的成功，就連PyTorch創(chuàng)始人Chintala本人也沒想到，無論是使用量、貢獻(xiàn)者還是資金支持都超出了他的預(yù)料。

不知道這算不算凡爾賽呢？

參考鏈接：
[1]https://twitter.com/PyTorch/status/1483861422668795907
[2]https://www.youtube.com/watch?v=r7qB7mKJOFk
[3]https://blog.paperspace.com/why-use-pytorch-deep-learning-framework/
[4]https://www.assemblyai.com/blog/pytorch-vs-tensorflow-in-2022/