英偉達(dá)“暴力碾壓”谷歌：53分鐘訓(xùn)練完BERT，2.2毫秒完成推理，創(chuàng)下NLP三項(xiàng)新紀(jì)錄

曉查 2019-08-14 12:22:02 來(lái)源：量子位

邊策 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

AI硬(he)件(dan)廠商英偉達(dá)今天宣布，他們?cè)贜LP模型上取得了三大突破，為今后會(huì)話AI的落地應(yīng)用鋪平了道路。

英偉達(dá)用自己的硬件與并行計(jì)算軟件相結(jié)合，在BERT模型的訓(xùn)練和推理上創(chuàng)下三項(xiàng)世界紀(jì)錄：

1. 最快的BERT訓(xùn)練速度，只需53分鐘
2. 最快的BERT推理速度，只需2.2ms
3. 最大的BERT模型，包含83億參數(shù)

今年以來(lái)，NLP領(lǐng)域的“軍備競(jìng)賽”越來(lái)越激烈?；赥ransformer架構(gòu)的模型，如谷歌的XLNet和Facebook的RoBERTa，在GLUE、SQuAD這些基準(zhǔn)測(cè)試榜單頭名爭(zhēng)奪中你方唱罷我登場(chǎng)。

兩大公司為了刷榜的消耗了大量的時(shí)間和計(jì)算資源。為了提高BERT的訓(xùn)練速度，谷歌堆上了1024塊TPU，用76分鐘訓(xùn)練出了BERT模型。Facebook用上了1024個(gè)英偉達(dá)V100 GPU。

英偉達(dá)也不甘示弱，用1472個(gè)V100 GPU首次實(shí)現(xiàn)在一個(gè)小時(shí)之內(nèi)訓(xùn)練完BERT模型。

英偉達(dá)表示，這項(xiàng)研究能夠幫助企業(yè)使用實(shí)時(shí)會(huì)話AI更自然地與客戶互動(dòng)，幫助開(kāi)發(fā)人員將最先進(jìn)的NLP模型大規(guī)模部署在應(yīng)用程序中。

最大的BERT模型

英偉達(dá)使用了92個(gè)DGX-2H節(jié)點(diǎn)、1,472個(gè)V100 GPU的DGX SuperPOD系統(tǒng)來(lái)訓(xùn)練BERT模型，將BERT-Large訓(xùn)練時(shí)間從幾天縮短到到53分鐘。

如果你覺(jué)得上面的堆硬件太過(guò)暴力，英偉達(dá)也給出更低配置下的訓(xùn)練速度。他們?cè)凇爸挥小?6個(gè)V100 GPU的NVIDIA DGX-2用2.8天內(nèi)訓(xùn)練了BERT-Large，展示了英偉達(dá)GPU對(duì)于會(huì)話AI的可擴(kuò)展性。

考慮到開(kāi)發(fā)人員對(duì)大型NLP模型不斷增長(zhǎng)的需求，英偉達(dá)建立并訓(xùn)練了世界上最大的基于Transformer的語(yǔ)言模型GPT-2 8B，它具有83億個(gè)參數(shù)，是BERT-Large的24倍、GPT-2的5.6倍。

GPT-2 8B模型使用原生PyTorch進(jìn)行訓(xùn)練，在512 GPU上有8路模型并行和的64路數(shù)據(jù)并行。實(shí)驗(yàn)是在DGX SuperPOD上進(jìn)行的，其基準(zhǔn)模型為12億個(gè)參數(shù)，適用于單個(gè)V100 GPU。在單個(gè)GPU上運(yùn)行此基線模型的端到端訓(xùn)練pipeline可實(shí)現(xiàn)39 TeraFLOPS的算力，這是V100 GPU的理論峰值算力的30％。

通過(guò)8路并行模型將模型擴(kuò)展到512個(gè)GPU上的83億個(gè)參數(shù)，NVIDIA團(tuán)隊(duì)在整個(gè)應(yīng)用程序中實(shí)現(xiàn)了高達(dá)15.1 PetaFLOPS的持續(xù)性能，并且與基線相比達(dá)到了76％的擴(kuò)展效率。

為了研究這些幾十億參數(shù)的Transformer（變形金剛）網(wǎng)絡(luò)，英偉達(dá)還開(kāi)源了Megatron（威震天）項(xiàng)目。

最快的推理速度

上面的推理部分太過(guò)“燒錢(qián)”，而英偉達(dá)在BERT推理上取得的進(jìn)步可以讓普通開(kāi)發(fā)者也能用上。因?yàn)楝F(xiàn)在一些實(shí)時(shí)處理的任務(wù)也開(kāi)始用上了Transformer，比如語(yǔ)音合成（TTS）、語(yǔ)音識(shí)別（ASR）。

但是Transformer在這些落地化場(chǎng)景中卻遇到了困難。這是因?yàn)樵谕评聿渴痣A段，計(jì)算性能會(huì)面臨巨大的挑戰(zhàn)。以BERT為原型的多層Transformer模型，其性能常常難以滿足在線業(yè)務(wù)對(duì)于低延遲和高吞吐的要求。

于是，英偉達(dá)提出了Faster Transformer，并在GitHub上開(kāi)源了代碼。

Faster Transformer是一個(gè)BERT Transformer單層前向計(jì)算的高效實(shí)現(xiàn)，代碼簡(jiǎn)潔，后續(xù)可以通過(guò)簡(jiǎn)單修改支持多種Transformer結(jié)構(gòu)。

目前優(yōu)化集中在編碼器（encoder）的前向計(jì)算。底層由CUDA和cuBLAS實(shí)現(xiàn)，支持FP16和FP32兩種計(jì)算模式，其中FP16可以充分利用Volta和Turing架構(gòu)GPU上的張量核心單元。

英偉達(dá)使用運(yùn)行TensorRT的T4 GPU，僅在2.2毫秒內(nèi)就對(duì)BERT-Base SQuAD數(shù)據(jù)集進(jìn)行了推理，遠(yuǎn)低于許多實(shí)時(shí)應(yīng)用的10毫秒處理閾值。

英偉達(dá)測(cè)試了不同生產(chǎn)環(huán)境下Faster Transformer前向計(jì)算的執(zhí)行時(shí)間以及與TensorFlow XLA的性能比較。

在小batch size情況下，12層Transformer在P4和T4上的性能表現(xiàn)如下：

固定句子長(zhǎng)度為32，標(biāo)準(zhǔn)模型和裁剪模型在不同batch size下，12層Transformer在V100上實(shí)現(xiàn)了2倍的速度提升：

傳送門(mén)

Megatron開(kāi)源地址：
https://github.com/NVIDIA/Megatron-LM

Faster Transformer開(kāi)源地址：
https://github.com/NVIDIA/DeepLearningExamples/tree/master/FasterTransformer