20項任務(wù)橫掃BERT！CMU谷歌發(fā)布XLNet，NLP再迎屠榜時刻
共同一作本科都畢業(yè)于清華。
這世界變化快。
去年10月，Google團隊發(fā)布BERT模型橫掃一切，在11種不同NLP測試中創(chuàng)出最佳成績?，F(xiàn)在，輪到BERT被碾壓了。
CMU和Google Brain團隊最新發(fā)布的XLNet，在20項任務(wù)上超過了BERT的表現(xiàn)，包括SQuAD、GLUE、RACE等等。
這個消息一出，業(yè)界又轟動了。
目前這個模型的的論文、代碼和預(yù)訓練模型都已經(jīng)放出。
XLNet的共同一作，是本科都畢業(yè)于清華的Zhilin Yang（楊植麟）和Zihang Dai，目前兩人都在CMU讀博。
為什么XLNet能夠橫掃BERT？
作者在這篇論文中表示，BERT在訓練時需要mask一些輸入，忽略了被遮蔽位置之間的依賴關(guān)系，因此產(chǎn)生預(yù)訓練-微調(diào)差異。
而這次提出的XLNet，是一種泛化的自回歸預(yù)訓練模型。一方面，XLNet通過通過最大化所有可能因式分解順序的對數(shù)似然，學習雙向上下文；另一方面，利用自回歸來客服BERT的缺點。此外，XLNet還在預(yù)訓練中借鑒了最先進自回歸模型Transformer-XL的想法。
最終的測試表明，XLNet在20個任務(wù)上的表現(xiàn)優(yōu)于BERT，而且通常是大幅提升；在18個任務(wù)上，獲得了最高水平的結(jié)果，包括機器問答、自然語言推理、情感分析和文檔排序等。
一大批用戶在推特上表示了震驚。
“我還以為NLP已經(jīng)被BERT和ULMFiT解決了”，一位用戶發(fā)了個哭臉評論道。
這篇論文的作者大牛云集，除了開頭提到的兩位共同一作，還包括CMU教授Yiming Yang、Jaime Carbonell和Ruslan Salakhutdinov，以及來自Google Brain團隊的大牛Quoc V. Le。
最后送上傳送門。
論文地址在此：
https://arxiv.org/abs/1906.08237
GitHub地址在此：
https://github.com/zihangdai/xlnet
- 泰合資本梅林：2021是資本市場結(jié)構(gòu)性轉(zhuǎn)折的一年2021-12-14
- 獨家！扒出騰訊新高管余總的真面目！2021-04-01
- 點云處理不得勁？球卷積了解一下2019-10-24
- Dota2冠軍OG如何被AI碾壓？OpenAI累積三年的完整論文終于放出2019-12-14
相關(guān)閱讀
一書吃透機器學習！新版《機器學習基礎(chǔ)》來了，教材PDF、PPT可下載 | 資源
有Reddit網(wǎng)友評論，這部教材足夠扎實、內(nèi)容足夠基礎(chǔ)，學機器學習理論，熟讀這本書就足夠了。
