英偉達(dá)“暴力碾壓”谷歌：53分鐘訓(xùn)練完BERT，2.2毫秒完成推理，創(chuàng)下NLP三項(xiàng)新紀(jì)錄

曉查 2019-08-14 12:22:02 來源：量子位

邊策 發(fā)自 凹非寺

量子位 報道 | 公眾號 QbitAI

AI硬(he)件(dan)廠商英偉達(dá)今天宣布，他們在NLP模型上取得了三大突破，為今后會話AI的落地應(yīng)用鋪平了道路。

英偉達(dá)用自己的硬件與并行計算軟件相結(jié)合，在BERT模型的訓(xùn)練和推理上創(chuàng)下三項(xiàng)世界紀(jì)錄：

1. 最快的BERT訓(xùn)練速度，只需53分鐘
2. 最快的BERT推理速度，只需2.2ms
3. 最大的BERT模型，包含83億參數(shù)

今年以來，NLP領(lǐng)域的“軍備競賽”越來越激烈?；赥ransformer架構(gòu)的模型，如谷歌的XLNet和Facebook的RoBERTa，在GLUE、SQuAD這些基準(zhǔn)測試榜單頭名爭奪中你方唱罷我登場。

兩大公司為了刷榜的消耗了大量的時間和計算資源。為了提高BERT的訓(xùn)練速度，谷歌堆上了1024塊TPU，用76分鐘訓(xùn)練出了BERT模型。Facebook用上了1024個英偉達(dá)V100 GPU。

英偉達(dá)也不甘示弱，用1472個V100 GPU首次實(shí)現(xiàn)在一個小時之內(nèi)訓(xùn)練完BERT模型。

英偉達(dá)表示，這項(xiàng)研究能夠幫助企業(yè)使用實(shí)時會話AI更自然地與客戶互動，幫助開發(fā)人員將最先進(jìn)的NLP模型大規(guī)模部署在應(yīng)用程序中。

最大的BERT模型

英偉達(dá)使用了92個DGX-2H節(jié)點(diǎn)、1,472個V100 GPU的DGX SuperPOD系統(tǒng)來訓(xùn)練BERT模型，將BERT-Large訓(xùn)練時間從幾天縮短到到53分鐘。

如果你覺得上面的堆硬件太過暴力，英偉達(dá)也給出更低配置下的訓(xùn)練速度。他們在“只有”16個V100 GPU的NVIDIA DGX-2用2.8天內(nèi)訓(xùn)練了BERT-Large，展示了英偉達(dá)GPU對于會話AI的可擴(kuò)展性。

考慮到開發(fā)人員對大型NLP模型不斷增長的需求，英偉達(dá)建立并訓(xùn)練了世界上最大的基于Transformer的語言模型GPT-2 8B，它具有83億個參數(shù)，是BERT-Large的24倍、GPT-2的5.6倍。

GPT-2 8B模型使用原生PyTorch進(jìn)行訓(xùn)練，在512 GPU上有8路模型并行和的64路數(shù)據(jù)并行。實(shí)驗(yàn)是在DGX SuperPOD上進(jìn)行的，其基準(zhǔn)模型為12億個參數(shù)，適用于單個V100 GPU。在單個GPU上運(yùn)行此基線模型的端到端訓(xùn)練pipeline可實(shí)現(xiàn)39 TeraFLOPS的算力，這是V100 GPU的理論峰值算力的30％。

通過8路并行模型將模型擴(kuò)展到512個GPU上的83億個參數(shù)，NVIDIA團(tuán)隊在整個應(yīng)用程序中實(shí)現(xiàn)了高達(dá)15.1 PetaFLOPS的持續(xù)性能，并且與基線相比達(dá)到了76％的擴(kuò)展效率。

為了研究這些幾十億參數(shù)的Transformer（變形金剛）網(wǎng)絡(luò)，英偉達(dá)還開源了Megatron（威震天）項(xiàng)目。

最快的推理速度

上面的推理部分太過“燒錢”，而英偉達(dá)在BERT推理上取得的進(jìn)步可以讓普通開發(fā)者也能用上。因?yàn)楝F(xiàn)在一些實(shí)時處理的任務(wù)也開始用上了Transformer，比如語音合成（TTS）、語音識別（ASR）。

但是Transformer在這些落地化場景中卻遇到了困難。這是因?yàn)樵谕评聿渴痣A段，計算性能會面臨巨大的挑戰(zhàn)。以BERT為原型的多層Transformer模型，其性能常常難以滿足在線業(yè)務(wù)對于低延遲和高吞吐的要求。

于是，英偉達(dá)提出了Faster Transformer，并在GitHub上開源了代碼。

Faster Transformer是一個BERT Transformer單層前向計算的高效實(shí)現(xiàn)，代碼簡潔，后續(xù)可以通過簡單修改支持多種Transformer結(jié)構(gòu)。

目前優(yōu)化集中在編碼器（encoder）的前向計算。底層由CUDA和cuBLAS實(shí)現(xiàn)，支持FP16和FP32兩種計算模式，其中FP16可以充分利用Volta和Turing架構(gòu)GPU上的張量核心單元。

英偉達(dá)使用運(yùn)行TensorRT的T4 GPU，僅在2.2毫秒內(nèi)就對BERT-Base SQuAD數(shù)據(jù)集進(jìn)行了推理，遠(yuǎn)低于許多實(shí)時應(yīng)用的10毫秒處理閾值。

英偉達(dá)測試了不同生產(chǎn)環(huán)境下Faster Transformer前向計算的執(zhí)行時間以及與TensorFlow XLA的性能比較。

在小batch size情況下，12層Transformer在P4和T4上的性能表現(xiàn)如下：

固定句子長度為32，標(biāo)準(zhǔn)模型和裁剪模型在不同batch size下，12層Transformer在V100上實(shí)現(xiàn)了2倍的速度提升：

傳送門

Megatron開源地址：
https://github.com/NVIDIA/Megatron-LM

Faster Transformer開源地址：
https://github.com/NVIDIA/DeepLearningExamples/tree/master/FasterTransformer