PyTorch 1.3發(fā)布：能在移動端部署，支持Colab云TPU，阿里云上也能用

曉查 一璞 發(fā)自 凹非寺

量子位 報道 | 公眾號 QbitAI

“我要轉(zhuǎn)PyTorch！”

看到1.3版本的新特性之后，有開發(fā)者在推特上喊。

今天是PyTorch開發(fā)者大會第一天，PyTorch 1.3率先公布。

新的版本不僅能支持安卓iOS移動端部署，甚至還能讓用戶去對手Google的Colab上調(diào)用云TPU。

不方便薅Google羊毛的國內(nèi)的開發(fā)者，PyTorch也被集成在了阿里云上，阿里云全家桶用戶可以更方便的使用PyTorch了。

此外還有一大波新工具，涉及可解釋性、加密、以及關(guān)于圖像語音的諸多功能。

又兼容又有新工具，怪不得有普通鐵桿粉絲感嘆：自己對Facebook開源庫的“忠誠度”越來越高了。

牛逼！可能是個人感覺吧，F(xiàn)acebook比Google在開源庫方面好多了，而且各方支持也是最好的。

React對比Angular，Pytorch對比Tensorflow。這就是其中兩個例子，F(xiàn)acebook框架上市晚，但得到了強有力的支持，不斷改進，而Google的框架雖然出來得早但沒啥兼容升級，最終成為棄子。

我對Facebook開源庫的“忠誠度”一直在增長。

PyTorch 1.3新功能

PyTorch 1.3帶來了三個實驗性的新功能。

命名張量

允許用戶給張量維度命名，從而讓張量更易用，這樣就可以直接喊他們的名字，不用根據(jù)位置來跟蹤張量維度。

升級之前，你需要在代碼里寫注釋來給張量命名：

# Tensor[N, C, H, W]
images = torch.randn(32, 3, 56, 56)
images.sum(dim=1)
images.select(dim=1, index=0)

升級之后，就直接能在代碼里寫了，這樣可讀性大大提高：

NCHW = [‘N’, ‘C’, ‘H’, ‘W’]
images = torch.randn(32, 3, 56, 56, names=NCHW)
images.sum('C')
images.select('C', index=0)

另外，這項功能還能自動檢查API是否被正確的使用，提升了安全性，還可以直接用名字來重新排列尺寸。

你可以這樣命名：

也可以這樣命名：

用align_to就可以重新排序：

是不是方便多了？

量化支持

開發(fā)ML應(yīng)用程序時，有效利用服務(wù)器端和設(shè)備上的計算資源非常重要。

為了支持在服務(wù)器和邊緣設(shè)備上進行更有效的部署，PyTorch 1.3現(xiàn)在支持用eager模式進行8位模型量化。所謂量化，是指降低精度執(zhí)行計算和存儲的技術(shù)。

當(dāng)前處于實驗性的量化功能包括對后訓(xùn)練量化（post-training quantization）、動態(tài)量化（dynamic quantization）和量化感知訓(xùn)練（quantization-aware training）的支持。它分別利用了x86和ARM CPU的FBGEMM和QNNPACK最新的量化內(nèi)核后端，這些后端與PyTorch集成在一起，并且現(xiàn)在共享一個通用API。

具體的API文檔可以參閱：

https://pytorch.org/docs/master/quantization.html

Facebook提供了一個量化的實際案例供開發(fā)者參考：

https://pytorch.org/tutorials/advanced/dynamic_quantization_tutorial.html

移動端

另外，為了在邊緣設(shè)備上高效的運行機器學(xué)習(xí)，PyTorch 1.3支持端到端的工作流，從Python到部署在iOS和安卓端。

當(dāng)然，這個功能還是早期實驗版本，針對端到端做了優(yōu)化，新版本重點在：

1、大小優(yōu)化，根據(jù)用戶需要構(gòu)建級別優(yōu)化和選擇性編譯。

2、提升了移動CPU和GPU上的性能。

3、高級API：擴展移動原生API，覆蓋常用預(yù)處理、將機器學(xué)習(xí)合并到移動應(yīng)用需要的集成任務(wù)，比如計算機視覺或者NLP的任務(wù)。

移動端部署細節(jié)：

https://pytorch.org/mobile/home/

新工具

可解釋性工具Captum

隨著AI模型變得越來越復(fù)雜，開發(fā)用于模型可解釋性的新方法變得越來越重要。為了滿足這種需求，F(xiàn)acebook推出了Captum。

Captum可以幫助使用PyTorch的開發(fā)者了解為什么他們的模型生成某個特定輸出。Captum提供了先進的工具來理解特定神經(jīng)元和層如何影響模型做出的預(yù)測。

Captum的算法包括integrated gradients、conductance、SmoothGrad、VarGrad和DeepLift。

下面的案例展示了如何在預(yù)訓(xùn)練的ResNet模型上應(yīng)用模型可解釋性算法，然后通過將每個像素的屬性疊加在圖像上，使其可視化。

noise_tunnel = NoiseTunnel(integrated_gradients)
attributions_ig_nt, delta = noise_tunnel.attribute(input, n_samples=10, nt_type='smoothgrad_sq', target=pred_label_idx)
_ = viz.visualize_image_attr_multiple(["original_image", "heat_map"],
 ["all", "positive"],
 np.transpose(attributions_ig_nt.squeeze().cpu().detach().numpy(), (1,2,0)),
 np.transpose(transformed_img.squeeze().cpu().detach().numpy(), (1,2,0)), cmap=default_cmap, 
 show_colorbar=True)

了解更多：

https://www.captum.ai/

加密工具CrypTen

通過基于云或機器學(xué)習(xí)即服務(wù)（MLaaS）平臺的ML的實際應(yīng)用提出了一系列安全和隱私挑戰(zhàn)。

這些平臺的用戶可能不希望或是無法共享未加密數(shù)據(jù)，這使他們無法充分利用機器學(xué)習(xí)工具。為了應(yīng)對這些挑戰(zhàn)，機器學(xué)習(xí)社區(qū)正在探索各種成熟度不同的技術(shù)方法。這些包括同態(tài)加密（homomorphic encryption）、安全多方計算（secure multiparty computation）、可信執(zhí)行環(huán)境（trusted execution environments）、設(shè)備計算（on-device computation）和差分隱私（differential privacy）。

為了更好地理解如何應(yīng)用其中的某些技術(shù)，F(xiàn)acebook發(fā)布了CrypTen，這是一個新的基于社區(qū)的研究平臺，用于推動隱私保護ML領(lǐng)域的發(fā)展。

CrypTen的更多細節(jié)：

https://ai.facebook.com/blog/crypten-a-new-research-tool-for-secure-machine-learning-with-pytorch

目前CrypTen已經(jīng)在GitHub上開源：

https://github.com/facebookresearch/crypten

多模AI系統(tǒng)工具

如今網(wǎng)上的數(shù)字內(nèi)容通常不是單一形式，而是由多種形式共同組成，可能包含文本、圖像、音頻和視頻。PyTorch提供了新的工具和軟件庫生態(tài)系統(tǒng)，來處理機器學(xué)習(xí)ML系統(tǒng)。

Detectron2

Detectron2是在PyTorch中實現(xiàn)的目標(biāo)檢測庫。它以增強的靈活性幫助計算機視覺研究，并改善可維護性和可伸縮性，以支持在生產(chǎn)中的用例。

更多細節(jié)：

https://ai.facebook.com/blog/-detectron2-a-pytorch-based-modular-object-detection-library-

GitHub：

https://github.com/facebookresearch/detectron2

Fairseq的語音擴展

語言翻譯和音頻處理是系統(tǒng)和應(yīng)用程序（例如搜索，翻譯，語音和助手）中的關(guān)鍵組件。由于變壓器等新架構(gòu)的發(fā)展以及大規(guī)模的預(yù)訓(xùn)練方法的發(fā)展，最近在這些領(lǐng)域取得了巨大的進步。

Facebook已經(jīng)擴展了Fairseq（語言翻譯等seq2seq應(yīng)用框架），包括對語音和音頻識別任務(wù)的端到端學(xué)習(xí)的支持。fairseq的這些擴展可以加快對新語音研究的探索和原型開發(fā)。

GitHub：

https://github.com/pytorch/fairseq/tree/master/examples/speech_recognition

云端支持

今天的開發(fā)者大會上，另一個激動人心的消息是，PyTorch宣布了對谷歌云TPU的全面支持，以及阿里云對PyTorch的集成。此外，PyTorch還將新增了對兩家AI硬件的支持，擴展了了自己的硬件生態(tài)。

谷歌云TPU

在Facebook、Google和Salesforce的工程師共同努力下，新版的PyTorch加入對了云TPU支持，包括對超級計算機云TPU Pods的實驗性支持。谷歌Colab還提供了對云TPU的PyTorch支持。

阿里云

阿里云的集成涉及PyTorch 1.x的一鍵式解決方案，數(shù)據(jù)科學(xué)Workshop notebook服務(wù)，使用Gloo/NCCL進行的分布式訓(xùn)練，以及與阿里巴巴IaaS（如OSS、ODPS和NAS）的無縫集成。

硬件生態(tài)擴展

除了主要的GPU和CPU合作伙伴之外，PyTorch生態(tài)系統(tǒng)還支持專用的機器學(xué)習(xí)加速器。比如英特爾不久前推出的NNP-I推理芯片、Habana Labs的AI處理器。

這兩家公司分別在博客中展示了自家硬件對PyTorch Glow優(yōu)化編譯器的支持，使開發(fā)人員能夠利用這些特定于市場的解決方案。

回饋AI社區(qū)

最后Facebook感謝AI社區(qū)對PyTorch生態(tài)做出的貢獻，過去一段時間里，一些開發(fā)者的優(yōu)秀開源項目讓PyTorch框架受益。比如：

1、Mila SpeechBrain：多合一語音工具包

《Kaldi拜拜！PyTorch語音工具包SpeechBrain要來了，支持多種語音任務(wù)，實現(xiàn)最強水準(zhǔn)》

2、SpaCy：用于NLP的高級軟件庫

3、HuggingFace PyTorch-Transformers：用于NLP的最新的預(yù)訓(xùn)練模型庫。

《一個API調(diào)用27個NLP預(yù)訓(xùn)練模型：BERT、GPT-2全囊括，像導(dǎo)入NumPy一樣容易》

4、PyTorch Lightning：一個類似Keras的ML庫

《在PyTorch上用”Keras”，分布式訓(xùn)練開箱即用，告別沒完沒了的Debug》

最近，F(xiàn)acebook舉行了首次在線的全球PyTorch夏季黑客馬拉松，共有近1500名開發(fā)者參加了比賽。Facebook在今天公布了獲獎項目，他們分別是：

1、Torchmeta：提供了PyTorch的擴展，簡化PyTorch中元學(xué)習(xí)算法的開發(fā)。

2、Open-Unmix：使用PyTorch進行端到端音樂混合的系統(tǒng)。

3、Endless AI-Generated Tees：這是一家向全球售賣AI設(shè)計T恤的商店。他們使用由PyTorch構(gòu)建的StyleGAN，接受現(xiàn)代藝術(shù)的訓(xùn)練。