PyTorch橫掃各大頂會(huì)，TensorFlow退守工業(yè)界：機(jī)器學(xué)習(xí)框架，一年間局勢(shì)突變

魚羊 栗子 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

TensorFlow 2.0正式發(fā)布沒幾天，PyTorch 1.3今天也上線了。

一個(gè)瘋狂強(qiáng)調(diào)“易用性”，一個(gè)整出了移動(dòng)端部署。老將和新秀都卯足了勁。

畢竟，機(jī)器學(xué)習(xí)框架的世界，局勢(shì)變化過于迅猛，稍不注意就會(huì)被搶了地盤。

一年前，TensorFlow還是各大頂會(huì)論文選擇的主流框架，如今頂會(huì)幾乎成了PyTorch的天下。

CVPR 2019，只提到PyTorch的論文有280篇，只提到TensorFlow的論文有125篇，但這還不是懸殊最大的一場(chǎng)會(huì)議。

有網(wǎng)友 (@programmerChilli) 說，雖然知道大批研究者逃離TF擁抱PT：

但我絕對(duì)想不到漲幅能到這種地步。

那么，PyTorch的優(yōu)勢(shì)到底在哪里？

PyTorch一路凱歌，對(duì)TensorFlow經(jīng)營多年的格局又有怎樣的沖擊。

這一次，一位來自康奈爾大學(xué)的少年Horace He，用一份詳盡的調(diào)查報(bào)告，對(duì)現(xiàn)狀進(jìn)行了總結(jié)，也為潛在入門者提供了方向：

PyTorch制霸學(xué)界

報(bào)告開頭就提到：目前的大背景是，大量研究人員從TensorFlow轉(zhuǎn)投PyTorch。

但大家未必知道，這勢(shì)頭來得多猛烈。來看2018年與2019年的各大頂會(huì)對(duì)比吧：

表格列出了CVPR、NAACL、ACL、ICLR、ICML這五大頂會(huì)上，僅提到PyTorch/僅提到TensorFlow的論文數(shù)量。

2018年，PyTorch五項(xiàng)數(shù)據(jù)全部低于TensorFlow。

2019年，PyTorch五個(gè)數(shù)字全部超越TensorFlow。

PyTorch每項(xiàng)數(shù)據(jù)的增幅，都在192%到450%之間，漲勢(shì)十分兇猛。

其中，以自然語言處理(NLP) 的頂會(huì)NAACL?(450%) 和ACL?(290%) 最為顯著；在視覺頂會(huì)CVPR上也有大幅增長 (240%) 。

相比之下，TensorFlow有三項(xiàng)數(shù)據(jù)下滑。其中NAACL數(shù)據(jù)下降幅度達(dá)到了38.2%，而這里正是PyTorch飛躍式增長的地方。

此消彼長，PyTorch只用了一年，便把弱勢(shì)變成了壓倒性優(yōu)勢(shì)：

280:125 (CVPR) ，兩倍有余。

66:21 (ACL) ，三倍有余。

103:33 (NAACL) ，三倍有余。

在語言和視覺頂會(huì)上，PyTorch的主導(dǎo)地位最明顯。這跟上文提到的漲幅是吻合的。

如果還有人把PyTorch當(dāng)做一個(gè)新秀，試圖在TensorFlow主導(dǎo)的世界里，劃出一片自己的地盤，那么數(shù)據(jù)告訴他們，已經(jīng)不是這樣了。

雖然，看上去TensorFlow還有兩項(xiàng)數(shù)據(jù)在增長，但其實(shí)只有ICML的漲幅 (32.5%) ，還跟得上會(huì)議總錄取論文數(shù)的增長。

也就是說，在另外四場(chǎng)會(huì)議上，TensorFlow已經(jīng)開始衰退了。

為何研究人員愛PyTorch？

一是簡單。它和NumPy比較像，風(fēng)格很Python，能輕易和Python生態(tài)集成起來。

比如，你只要把一個(gè)pdb斷點(diǎn)扔進(jìn)PyTorch模型里，它直接就能用了。

相比之下，在TensorFlow模型里面debug的話，便會(huì)復(fù)雜得多了。

二是API好。比起TensorFlow的API，大多數(shù)研究人員更偏愛PyTorch的API。PyTorch設(shè)計(jì)得更科學(xué)；而TensorFlow要在各種API之間切換，令人操作不便：

‘layers’ -> ‘slim’ -> ‘estimators’ -> ‘tf.keras’

三是性能。雖然PyTorch的動(dòng)態(tài)圖 (Dynamic Graphs) 提供的優(yōu)化空間比較小，但許多用戶都反饋說PyTorch的速度不亞于TensorFlow，甚至比對(duì)方還快。

雖然，沒有嚴(yán)格測(cè)試數(shù)據(jù)表明到底誰更快，但至少TensorFlow并沒有明顯的優(yōu)勢(shì)。

這樣，再加上前兩點(diǎn)，足夠讓許多研究人員擁抱PyTorch了。

TensorFlow在研究領(lǐng)域會(huì)怎樣？

就算今后TensorFlow變得像PyTorch一樣友好，PyTorch的地盤也已經(jīng)很大了。

這就是說，PyTorch的代碼實(shí)現(xiàn)更容易找到，人們也更有動(dòng)力發(fā)表PyTorch的代碼給大家用，跟別人合作的話隊(duì)友也可能會(huì)傾向PyTorch。

所以，遷回TensorFlow 2.0這件事，大概率不會(huì)進(jìn)展很快。

當(dāng)然，谷歌和DeepMind內(nèi)部研究還是會(huì)用TensorFlow。他們的研究成果，大概也給了一部分研究人員，繼續(xù)用TensorFlow的信心。

不過Horace He聽說，谷歌內(nèi)部也有許多研究人員，渴望逃離TensorFlow了。

另一方面，PyTorch主導(dǎo)地位越來越強(qiáng)，谷歌研究人員可能和整個(gè)社區(qū)之間產(chǎn)生隔閡：他們很難在外部研究的基礎(chǔ)上搭建自己的應(yīng)用，外面的研究人員也很難借鑒谷歌的代碼。

最后，TensorFlow 2.0能不能挽回一些研究人員，還需要時(shí)間來觀察。Eager Execution一定是個(gè)吸引人的點(diǎn)，而Keras API就不一定了。

TensorFlow守住工業(yè)界

雖然在各個(gè)開發(fā)者社區(qū)，“PyTorch真香”論聲勢(shì)浩大，現(xiàn)在又在頂會(huì)數(shù)據(jù)上實(shí)力壓倒TensorFlow，但其實(shí)，在工業(yè)界，TensorFlow仍具優(yōu)勢(shì)。

比如，根據(jù)Medium博主Jeff Hale的統(tǒng)計(jì)結(jié)果，2019年，TensorFlow在線上招聘啟事中擁有1541個(gè)新增職位，而PyTorch有1437個(gè)。

從arXiv的論文數(shù)量來看，TensorFlow也仍然占據(jù)首位，只是領(lǐng)先優(yōu)勢(shì)在縮小。

一方面，TensorFlow的誕生早于PyTorch，工業(yè)界對(duì)新鮮事物的追逐，不像學(xué)術(shù)界那樣熱切，使用TensorFlow已成行業(yè)慣性。

并且，許多企業(yè)的代碼都是基于TensorFlow搭建的，想要遷移到PyTorch上，并非易事。

另一方面，相比于PyTorch，TensorFlow本身就是為工業(yè)界量身打造的。

相比于研究實(shí)驗(yàn)，工業(yè)界會(huì)有更多的限制和要求，比如：

· 不用Python。Python在服務(wù)器上運(yùn)行時(shí)開銷太大，有些公司承受不來。

· 可移動(dòng)性。移動(dòng)二進(jìn)制文件中沒法嵌入Python解釋器。

· 服務(wù)。無停機(jī)更新，模型間無縫切換，可預(yù)測(cè)時(shí)間的批處理，等等等等。

TensorFlow在這些方面顯然比PyTorch做得好得多。比如，訓(xùn)練好模型，然后使用TF Lite進(jìn)行部署，是目前最可靠的生產(chǎn)管道之一。

有網(wǎng)友舉了個(gè)例子：

TensorFlow能夠?qū)⒛Ｐ蛯?dǎo)出到coreml Android模型中，也能很容易地將其轉(zhuǎn)移到GCP（谷歌云端平臺(tái)）環(huán)境等任何形式的生產(chǎn)環(huán)境中。

相比之下，PyTorch的部署有些讓人頭禿：模型無法導(dǎo)出到非Python環(huán)境，無法優(yōu)化，無法在移動(dòng)設(shè)備上運(yùn)行（隨著PyTorch 1.3的發(fā)布，無法在移動(dòng)端部署的問題已經(jīng)得到解決）。

況且，TensorFlow還有Keras這個(gè)好伙伴呢。

不過，也有網(wǎng)友認(rèn)為，PyTorch在工業(yè)界取得主導(dǎo)地位，只是時(shí)間問題。

畢竟在2018年的頂會(huì)上，TensorFlow還是主流呢。僅僅一年時(shí)間，王座就已易主。

“融合”趨勢(shì)

PyTorch勢(shì)頭猛烈，但TensorFlow也沒有坐以待斃。

一個(gè)有趣的現(xiàn)象是，現(xiàn)在，這兩個(gè)機(jī)器學(xué)習(xí)框架呈現(xiàn)出了“融合”的趨勢(shì)。

十一假期，TensorFlow 2.0正式登場(chǎng)，進(jìn)一步整合TensorFlow和Keras，增強(qiáng)易用性，官方表示，這是一個(gè)快速、可擴(kuò)展、可投入生產(chǎn)的靈活而強(qiáng)大的平臺(tái)。

Keras的作者Fran?ois Chollet甚至說：“TensorFlow 2.0是一個(gè)來自未來的機(jī)器學(xué)習(xí)平臺(tái)，它改變了一切?！?/p>

在默認(rèn)的eager execution模式下，TensorFlow 2.0能提供PyTorch eager模式下的大部分優(yōu)點(diǎn)，比如易用性、可調(diào)試性等。

并且，針對(duì)TensorFlow的API過于復(fù)雜這個(gè)問題，2.0版本也提供了更易用的API。模型的訓(xùn)練和serving都無縫集成在了基礎(chǔ)框架中。

PyTorch這邊，2018年底引入了JIT編譯器和“TorchScript”，增加圖形功能。

就在今天，PyTorch 1.3發(fā)布，新增移動(dòng)端部署、量化和命名張量等功能。

機(jī)器學(xué)習(xí)框架未來的游戲規(guī)則會(huì)如何改變，還真令人期待呢。

FB谷歌雙料實(shí)習(xí)生

最后，介紹下這份詳細(xì)報(bào)告的作者：

Horace He，來自康奈爾大學(xué)，是2016年入學(xué)的本科生。

自從上了大學(xué)，他每個(gè)暑假都在大廠實(shí)習(xí)：2017年是Facebook實(shí)習(xí)軟件工程師，2018年是谷歌的實(shí)習(xí)軟件工程師，2019年在Facebook做PyTorch實(shí)習(xí)生。

另外，少年還是VSCodeVim?(標(biāo)星6.2k) 的主要貢獻(xiàn)者之一：

那么，TensorFlow和PyTorch，你會(huì)pick誰？

參考資料：

https://thegradient.pub/state-of-ml-frameworks-2019-pytorch-dominates-research-tensorflow-dominates-industry/

https://towardsdatascience.com/which-deep-learning-framework-is-growing-fastest-3f77f14aa318

— 完 —