PyTorch核心開(kāi)發(fā)者靈魂發(fā)問(wèn)：我們?cè)趺丛絹?lái)越像Julia了？

夢(mèng)晨 2021-12-05 15:59:47 來(lái)源：量子位

PyTorch社區(qū)最近有一種聲音：下個(gè)版本應(yīng)該拋棄Python改用Julia語(yǔ)言。

現(xiàn)在就連PyTorch團(tuán)隊(duì)內(nèi)部也會(huì)拿這個(gè)說(shuō)法來(lái)開(kāi)玩笑。

對(duì)這個(gè)問(wèn)題，核心開(kāi)發(fā)成員中的Edward Yang在論壇上作出過(guò)一些回應(yīng)。

他認(rèn)為PyTorch的確越來(lái)越像Julia了，比如借鑒Julia的多重分派特性開(kāi)發(fā)了Pytorch Dispatcher。

PyTorch總體的發(fā)展方向也和Julia的愿景一致，也就是同時(shí)具備拓展性、易用性和執(zhí)行性能。

一方面PyTorch的底層代碼后期用C++重寫(xiě)以獲得更好的性能，另一方面functorch、fx等新功能又讓用戶(hù)可以直接使用Python做以前必須借助C++完成的工作。

那為什么不直接改用Julia呢？

害，其實(shí)是舍不得Python那無(wú)可替代的生態(tài)。

當(dāng)初從原版Torch使用的Lua改用Python就是看中了生態(tài)這一點(diǎn)。這么多年過(guò)去了其他語(yǔ)言生態(tài)連一點(diǎn)可能超過(guò)Python的跡象都沒(méi)有。

簡(jiǎn)而言之，Julia語(yǔ)言本身的特性和Python的生態(tài)他們全都要，向Julia的優(yōu)點(diǎn)學(xué)習(xí)也是團(tuán)隊(duì)未來(lái)的努力方向。

那么，Julia這種語(yǔ)言到底好在哪，讓PyTorch開(kāi)發(fā)團(tuán)隊(duì)都向它學(xué)習(xí)？

面向科學(xué)計(jì)算設(shè)計(jì)的語(yǔ)言

Julia來(lái)自麻省理工CSAIL實(shí)驗(yàn)室，設(shè)計(jì)初衷就是想要一個(gè)既有C的速度又有Ruby的動(dòng)態(tài)性、既能像Matlab一樣使用數(shù)學(xué)表達(dá)式又有Python的通用性。

Julia要能像Perl一樣自然地處理字符串、像R一樣適用于統(tǒng)計(jì)，像Shell一樣作為膠水語(yǔ)言去和其他語(yǔ)言交互。

要有Hadoop的并行計(jì)算能力，又不想要那些繁雜的配置。

最后做出來(lái)的Julia采用即時(shí)編譯（Just In Time），速度比需要解釋器的Python快得多，又沒(méi)有失去交互性。

通過(guò)多重分派（Multiple Dispatch）特性來(lái)實(shí)現(xiàn)類(lèi)型穩(wěn)定又不時(shí)腳本語(yǔ)言的簡(jiǎn)潔靈活。

同一個(gè)函數(shù)名對(duì)不同參數(shù)類(lèi)型的調(diào)用分派不同的操作，因?yàn)檫m合處理多種數(shù)據(jù)類(lèi)型還被PyTorch給學(xué)了去。

具體到機(jī)器學(xué)習(xí)來(lái)說(shuō)，Julia執(zhí)行各類(lèi)算法包括矩陣運(yùn)算的速度都比Python快得多。

Julia生態(tài)里也有自己的開(kāi)源深度學(xué)習(xí)框架Julia Flux。

此外Julia還在語(yǔ)法上對(duì)線性代數(shù)、數(shù)據(jù)處理這些場(chǎng)景有額外的優(yōu)化。

比如支持Unicode數(shù)學(xué)符號(hào)，數(shù)字乘以變量時(shí)候可以省略「*」，以及索引從1而不是0開(kāi)始更符合人類(lèi)直覺(jué)….

Julia代碼可以寫(xiě)成這樣：

α = 0.5 
?f(u) = α*u; ?f(2) 
sin(2π)

以至于有些數(shù)學(xué)背景的開(kāi)發(fā)者認(rèn)為，Julia代碼寫(xiě)起來(lái)就像在黑板上做數(shù)學(xué)題一樣的，很親切。

相比之下，用Python做矩陣運(yùn)算感覺(jué)就……不是那么好。

Python:

np.dot(array1,array2)

Julia：

array1?.*?array2

Julia的歷史可以追溯到2009年，由于想實(shí)現(xiàn)的功能太多，直到2018年才對(duì)外發(fā)布1.0正式版。

不過(guò)最近幾年Julia已迅速被金融、醫(yī)藥、航天等一些行業(yè)接受，使用者包括摩根大通、輝瑞、NASA等。

△ TIOBE指數(shù)中的Julia流行趨勢(shì)變化

Julia改變了過(guò)去他們只能用C等高性能語(yǔ)言做底層開(kāi)發(fā)、同時(shí)用高易用性的Python等語(yǔ)言做擴(kuò)展開(kāi)發(fā)的割裂問(wèn)題。

今年7月，Julia創(chuàng)始團(tuán)隊(duì)成立的公司Julia Computing還獲得2400萬(wàn)美元的A輪融資。

Julia語(yǔ)言速度快、天生適合機(jī)器學(xué)習(xí)又在高速成長(zhǎng)，也難怪PyTorch社區(qū)會(huì)有用Julia替代Python的聲音出現(xiàn)。

有人認(rèn)為Python是一種糟糕的語(yǔ)言，雖然有優(yōu)秀的生態(tài)，但生態(tài)中對(duì)機(jī)器學(xué)習(xí)最有價(jià)值的部分（Numpy）其實(shí)是用C實(shí)現(xiàn)的。

Python生態(tài)雖然強(qiáng)大，但人們對(duì)其中的混亂也有不少詬病，各種重復(fù)開(kāi)發(fā)的包管理系統(tǒng)讓配置好Python開(kāi)發(fā)環(huán)境都不是一件容易事。

相比之下，Julia的包管理方案就很統(tǒng)一，雖然有可能是還在起步階段沒(méi)來(lái)得及混亂。

也有人認(rèn)為Python這些所謂的缺點(diǎn)其實(shí)正是它流行的原因。

像Python、Javascript和PHP這種看起來(lái)糟糕的語(yǔ)言，正是因?yàn)槟軌蜉p松的編寫(xiě)糟糕代碼，降低了門(mén)檻而流行。

這位要提醒大家Julia自身就帶有和其他語(yǔ)言的交互功能，他平常會(huì)在Julia代碼里調(diào)用Huggingface的Python模型作開(kāi)發(fā)，兩種生態(tài)都用上才是墜吼的。

最后，有人很不理解PyTorch開(kāi)發(fā)團(tuán)隊(duì)不選擇遷移到Julia的做法，既然Julia語(yǔ)言有所有他們需要的特性，還要花時(shí)間在Python里重新造輪子是自找麻煩。

另一位的視角有些微妙的不同：

這正是PyTorch團(tuán)隊(duì)想把方便留給用戶(hù)，而把麻煩留給自己。對(duì)這種態(tài)度我很感激。

參考鏈接：
[1]https://dev-discuss.pytorch.org/t/where-we-are-headed-and-why-it-looks-a-lot-like-julia-but-not-exactly-like-julia/276
[2]https://news.ycombinator.com/item?id=29354474
[3]https://ucidatascienceinitiative.github.io/IntroToJulia/Html/WhyJulia