20項(xiàng)任務(wù)橫掃BERT！CMU谷歌發(fā)布XLNet，NLP再迎屠榜時(shí)刻
共同一作本科都畢業(yè)于清華。
這世界變化快。
去年10月，Google團(tuán)隊(duì)發(fā)布BERT模型橫掃一切，在11種不同NLP測試中創(chuàng)出最佳成績?，F(xiàn)在，輪到BERT被碾壓了。
CMU和Google Brain團(tuán)隊(duì)最新發(fā)布的XLNet，在20項(xiàng)任務(wù)上超過了BERT的表現(xiàn)，包括SQuAD、GLUE、RACE等等。
這個(gè)消息一出，業(yè)界又轟動(dòng)了。
目前這個(gè)模型的的論文、代碼和預(yù)訓(xùn)練模型都已經(jīng)放出。
XLNet的共同一作，是本科都畢業(yè)于清華的Zhilin Yang（楊植麟）和Zihang Dai，目前兩人都在CMU讀博。
為什么XLNet能夠橫掃BERT？
作者在這篇論文中表示，BERT在訓(xùn)練時(shí)需要mask一些輸入，忽略了被遮蔽位置之間的依賴關(guān)系，因此產(chǎn)生預(yù)訓(xùn)練-微調(diào)差異。
而這次提出的XLNet，是一種泛化的自回歸預(yù)訓(xùn)練模型。一方面，XLNet通過通過最大化所有可能因式分解順序的對數(shù)似然，學(xué)習(xí)雙向上下文；另一方面，利用自回歸來客服BERT的缺點(diǎn)。此外，XLNet還在預(yù)訓(xùn)練中借鑒了最先進(jìn)自回歸模型Transformer-XL的想法。
最終的測試表明，XLNet在20個(gè)任務(wù)上的表現(xiàn)優(yōu)于BERT，而且通常是大幅提升；在18個(gè)任務(wù)上，獲得了最高水平的結(jié)果，包括機(jī)器問答、自然語言推理、情感分析和文檔排序等。
一大批用戶在推特上表示了震驚。
“我還以為NLP已經(jīng)被BERT和ULMFiT解決了”，一位用戶發(fā)了個(gè)哭臉評論道。
這篇論文的作者大牛云集，除了開頭提到的兩位共同一作，還包括CMU教授Yiming Yang、Jaime Carbonell和Ruslan Salakhutdinov，以及來自Google Brain團(tuán)隊(duì)的大牛Quoc V. Le。
最后送上傳送門。
論文地址在此：
https://arxiv.org/abs/1906.08237
GitHub地址在此：
https://github.com/zihangdai/xlnet
- 泰合資本梅林：2021是資本市場結(jié)構(gòu)性轉(zhuǎn)折的一年2021-12-14
- 獨(dú)家！扒出騰訊新高管余總的真面目！2021-04-01
- 點(diǎn)云處理不得勁？球卷積了解一下2019-10-24
- Dota2冠軍OG如何被AI碾壓？OpenAI累積三年的完整論文終于放出2019-12-14
相關(guān)閱讀
器學(xué)習(xí)老師.jpg)
用自然語言從GitHub搜代碼，跳過論壇提問環(huán)節(jié)，來自Facebook新研究
Facebook開發(fā)了一種代碼搜索工具，可將自然語言處理（NLP）和信息檢索（IR）技術(shù)直接應(yīng)用于源代碼文本。
