曉查 發(fā)自 凹非寺

量子位 出品 | 公眾號 QbitAI

幾周前，谷歌發(fā)布了新的NLP模型XLNet，它在20項基準(zhǔn)測試中均優(yōu)于BERT。

但是與BERT相比，XLNet模型的訓(xùn)練數(shù)據(jù)比BERT大10倍。這讓學(xué)術(shù)界和工業(yè)界對此產(chǎn)生了疑問：XLNet如果只接受與BERT相同規(guī)模的訓(xùn)練數(shù)據(jù)會如何？XLNet的勝利是否只是數(shù)據(jù)集的勝利？

今天，XLNet研究團隊在Medium網(wǎng)站上用實際數(shù)據(jù)解答了眾人的疑惑。他們使用近乎相同的數(shù)據(jù)集在XLNet和BERT之間進行公平對決，看看前者的性能到底有沒有本質(zhì)的提升。

參數(shù)配置

為了保證公平性，團隊確保BERT和XLNet中幾乎所有可能的超參數(shù)盡量相同。在無法保證二者相同的情況下，他們還讓參數(shù)的優(yōu)勢更向BERT傾斜。

超參數(shù)用的是原來BERT作者發(fā)布的數(shù)據(jù)。也就是說，這么做更有可能針對BERT而不是XLNet進行優(yōu)化。

具體的超參數(shù)設(shè)置如下：

• 相同的batch size：256
• 相同的訓(xùn)練步數(shù)：1M
• 相同的優(yōu)化器：Adam，學(xué)習(xí)率1e-4，10K預(yù)熱，線性衰減
• 相同的訓(xùn)練語料庫：Wikipedia + BooksCorpus。XLNet團隊使用與BERT repo中描述相同的工具來處理維基百科。但由于某些未知原因，XLNet維基百科語料庫只有20億單詞，而BERT有25億單詞。因此XLNet訓(xùn)練集反而更小。
• 相同的模型架構(gòu)參數(shù)：24層，1024個隱藏單元，head數(shù)16
• 相同的微調(diào)超參數(shù)搜索空間

他們修改了一些與數(shù)據(jù)相關(guān)的實現(xiàn)細(xì)節(jié)，以便與BERT進行一對一的比較：

• 在之前的實現(xiàn)中，未被覆蓋的token在預(yù)訓(xùn)練中看不到CLS和SEP。在現(xiàn)在的實現(xiàn)中，未被覆蓋的token可以看到CLS和SEP，這與BERT一致。
• 在微調(diào)中，XLNet使用“BERT格式”[CLS，A，SEP，B，SEP]取代[A，SEP，B，SEP，CLS]。

此外，他們還考慮了BERT的三種變體，并報告每個單獨任務(wù)的最佳微調(diào)結(jié)果。

• 模型-I：作者發(fā)布的原始BERT
• 模型-II：具有全詞覆蓋的BERT，也是由作者發(fā)布
• 模型-III：由于下一句預(yù)測（NSP）可能會影響性能，使用已發(fā)布的BERT代碼預(yù)訓(xùn)練一個新的沒有NSP損失的模型。

以上的設(shè)置可能會為BERT帶來一些優(yōu)勢，因為BERT可以通過不同的變體獲得單個任務(wù)的最佳性能。

對比結(jié)果

二者在SQuAD、RACE等測試集上的結(jié)果如下，過程中沒有使用數(shù)據(jù)擴增、集成學(xué)習(xí)或多任務(wù)學(xué)習(xí)。

測試結(jié)果說明了一些問題：

1. 使用幾乎相同的數(shù)據(jù)和訓(xùn)練方法，XLNet在所有數(shù)據(jù)集上均以相當(dāng)大的優(yōu)勢超越BERT。
2. 10倍數(shù)據(jù)對訓(xùn)練效果的提升不如從BERT到XLNet的變化明顯。11個基準(zhǔn)測試中，有8個從BERT切換到XLNet的提升更為明顯。
3. 在CoLA和MRPC等一些基準(zhǔn)測試中，更多數(shù)據(jù)上訓(xùn)練的模型得分反而低于在較少數(shù)據(jù)上訓(xùn)練的模型。

上述結(jié)果中讓我們獲得了一些寶貴的經(jīng)驗。

1. XLNet確實提高了性能。實驗結(jié)果1表明，在相同的訓(xùn)練條件下XLNet相對于BERT具有優(yōu)勢。
2. XLNet-Large可以更好地進行優(yōu)化。實驗結(jié)果2和3似乎表明XLNet-Large（更多訓(xùn)練數(shù)據(jù)）沒有充分利用數(shù)據(jù)規(guī)模。

對未來工作的啟發(fā)

XLNet團隊表示，將繼續(xù)研究如何正確擴展XLNet語言預(yù)訓(xùn)練。根據(jù)目前有限的觀察結(jié)果，他們推測以下訓(xùn)練細(xì)節(jié)可能會發(fā)揮重要作用：

數(shù)據(jù)相關(guān)：數(shù)據(jù)規(guī)模、數(shù)據(jù)來源、數(shù)據(jù)清洗、數(shù)據(jù)編碼、數(shù)據(jù)格式化。

優(yōu)化相關(guān)：學(xué)習(xí)率、batch size、訓(xùn)練步數(shù)、優(yōu)化器。

這些超參數(shù)之間可能有高階的相互作用。

Facebook AI最近的RoBERTa進入GLUE排行榜第一，似乎也暗示了訓(xùn)練細(xì)節(jié)的重要性。

原文鏈接：

https://medium.com/@xlnet.team/a-fair-comparison-study-of-xlnet-and-bert-with-large-models-5a4257f59dc0