煉個(gè)BERT別人花幾分鐘你花了快1天？谷歌：我這是4810億參數(shù)的巨型BERT

豐色 2021-12-03 15:44:22 來源：量子位

機(jī)器學(xué)習(xí)領(lǐng)域權(quán)威“跑分”MLPerf v1.1訓(xùn)練榜單已出爐。

這次，在BERT模型的成績表上有一個(gè)“異?！钡臄?shù)字：1196.638（分鐘），來自谷歌。

怎么？谷歌訓(xùn)練一個(gè)BERT要接近1天，別家都只要幾分鐘？

NONONO！

這其實(shí)是谷歌從未透露的巨型版本BERT，參數(shù)規(guī)模有4810億，不是別人只有幾億參數(shù)那種的BERT。

它也是谷歌今年在MLPerf“非標(biāo)準(zhǔn)區(qū)”提交的一個(gè)作品：

一共花了2048塊TPUv4，約20小時(shí)訓(xùn)練而成！

有史以來最大版本的BERT

標(biāo)準(zhǔn)BERT模型（BERT Large）參數(shù)規(guī)模只有3.4億，而此次4810億的巨型BERT是有史以來最大的一個(gè)版本。

這倆之間直接差了好幾個(gè)數(shù)量級。

而谷歌表示，訓(xùn)練大型模型正是公司的“重中之重”（主要用于云服務(wù)）。

所以此次他們根本沒有參加任何標(biāo)準(zhǔn)分區(qū)里的跑分評比，只在非標(biāo)準(zhǔn)區(qū)“釋放了自我”。

MLPerf競賽有倆分區(qū)：

Closed區(qū)也就是標(biāo)準(zhǔn)區(qū)，參賽商在ResNet-50等規(guī)定模型上跑分；

Open區(qū)也就是非標(biāo)準(zhǔn)區(qū)，參賽商可以嘗試任何規(guī)定以外的模型和方法來達(dá)到目標(biāo)性能。

在大多數(shù)參賽商都“擠”在標(biāo)準(zhǔn)區(qū)訓(xùn)練小規(guī)模的模型時(shí)，谷歌員工“凡爾賽”道：

“在短短幾秒內(nèi)‘豪擲’4000塊芯片來訓(xùn)練巨型BERT才是真的酷（爽）。”

谷歌由此也希望MLPerf基準(zhǔn)測試能引進(jìn)更多的大模型，因?yàn)樗麄冇X得現(xiàn)實(shí)中才不會(huì)像非標(biāo)準(zhǔn)區(qū)的參賽作品那樣用那么多芯片來訓(xùn)練那么小的模型。

而此次的巨型BERT性能也不賴，它的預(yù)測準(zhǔn)確率為75%，比MLPerf要求的72.2%要高。

同時(shí)，和標(biāo)準(zhǔn)區(qū)其他參賽商一樣，谷歌也用較少的文本數(shù)據(jù)樣本來達(dá)到目標(biāo)精度。

具體來說，標(biāo)準(zhǔn)區(qū)要求一個(gè)程序使用近5億個(gè)token序列進(jìn)行訓(xùn)練，每個(gè)序列的長度大多為128個(gè)token。

而Google只使用了大約2000萬個(gè)序列，不過每個(gè)序列的長度為512token。

另外，完成這次工作的2048塊TPU系統(tǒng)一開始也是為了迎合公司的生產(chǎn)和研發(fā)需要，所以它并未“束之高閣”——目前已用于Google Cloud服務(wù)。

英偉達(dá)在標(biāo)準(zhǔn)區(qū)“戰(zhàn)績顯赫”

其余MLPerf結(jié)果，主要在“標(biāo)準(zhǔn)區(qū)”，一如既往，英偉達(dá)戰(zhàn)績最高。

比如它使用最新一代GPU A100的系統(tǒng)在訓(xùn)練ResNet-50花費(fèi)的時(shí)間上包攬前四，其中最快只需21秒——比今年6月24秒的最高成績還快。

當(dāng)然，此戰(zhàn)績一共花了4320個(gè)A100，在1080個(gè)AMD的EPYC x86處理器的幫助下并行完成。

但在不拼芯片和主機(jī)處理器的情況下，競爭對手可就碾壓起英偉達(dá)了。

其中英特爾Habana用256個(gè)Gaudi加速芯片，只需3.4分鐘就訓(xùn)練好ResNet-50。

Graphcore則只需3.8分鐘，用了256塊IPU加速器芯片和32塊AMD EPYC主機(jī)處理器。

英偉達(dá)在配備16個(gè)EPYC處理器的64路A100系統(tǒng)下，花了4.5分鐘。

打敗了英偉達(dá)的Graphcore，則強(qiáng)調(diào)自己最看重性能和成本之間的平衡。

就比如Graphcore在16路系統(tǒng)上訓(xùn)練ResNet-50耗費(fèi)28分鐘，比英偉達(dá)DGX A100系統(tǒng)快一分鐘，但他們用到的POD-16是DGXA100成本的一半。

此次參賽的其他廠商中，三星在電子訓(xùn)練普通版BERT的速度上獲得了第二名，僅為25秒?；?56個(gè)AMD芯片和1024個(gè)英偉達(dá)A100。

微軟的Azure云服務(wù)首次參賽，它使用192個(gè)AMD EPYC處理器和768個(gè)A100在醫(yī)療數(shù)據(jù)上訓(xùn)練圖像分割模型獲得了最高分。

同時(shí)Azure也表示后續(xù)也會(huì)像谷歌那樣在非標(biāo)準(zhǔn)區(qū)提交一些成績，雖然微軟和英偉達(dá)在此前不久發(fā)布了目前最大的模型“威震天-圖靈”，但他們表示：

許多公司希望將人工智能用于專一目的，而非需要4000塊芯片才能運(yùn)行的巨型語言模型。

更多評分結(jié)果大家可以參考官網(wǎng)數(shù)據(jù)。

榜單地址：
https://mlcommons.org/en/news/mlperf-training-v11/

參考鏈接：
https://www.zdnet.com/article/google-uses-mlperf-competition-to-showcase-performance-on-gigantic-version-of-bert-language-model/