百度x量子位 | 最強中文NLP預(yù)訓(xùn)練模型艾尼ERNIE官方揭秘
允中 發(fā)自 凹非寺
量子位 編輯 | 公眾號 QbitAI
“最近剛好在用ERNIE寫畢業(yè)論文”
“感覺還挺厲害的”
“為什么叫ERNIE啊，這名字有什么深意嗎？”
“我想讓艾尼幫我寫作業(yè)”
看了上面熱火的討論，你一定很好奇“艾尼”、“ERNIE”到底是個啥？
自然語言處理( Natural Language Processing ,簡稱NLP?)被譽為人工智能“皇冠上的明珠”。NLP是為各類企業(yè)及開發(fā)者提供的用于文本分析及挖掘的核心工具，已經(jīng)廣泛應(yīng)用在電商、文化娛樂、金融、物流等行業(yè)客戶的多項業(yè)務(wù)中。
而艾尼（ERNIE），可謂是目前NLP領(lǐng)域的最強中文預(yù)訓(xùn)練模型。
昨天，百度資深研發(fā)工程師龍老師，就通過直播帶開發(fā)者走近最強中文NLP預(yù)訓(xùn)練模型ERNIE，在線上解讀了一系列艾尼ERNIE的強大特性，并現(xiàn)場與同為NLP模型的BERT直接PK，讓開發(fā)者連連感嘆，希望能把ERNIE運用到自己的工作與生活之中。
錯過了直播沒關(guān)系，讓我們來回顧一下課上都講了啥~
什么是艾尼（ERINE）？
艾尼（ERNIE）是百度自研的持續(xù)學(xué)習(xí)語義理解框架，該框架支持增量引入詞匯（ lexical ）、語法 （ syntactic ） 、語義（ semantic ）等3個層次的自定義預(yù)訓(xùn)練任務(wù)，能夠全面捕捉訓(xùn)練語料中的詞法、語法、語義等潛在信息。
這些任務(wù)通過多任務(wù)學(xué)習(xí)對模型進(jìn)行訓(xùn)練更新，每當(dāng)引入新任務(wù)時，該框架可在學(xué)習(xí)該任務(wù)的同時，不遺忘之前學(xué)到過的知識。這也意味著，該框架可以通過持續(xù)構(gòu)建不同的預(yù)訓(xùn)練任務(wù)，持續(xù)提升模型效果。因此ERNIE具有了更好的語義理解能力。
△ERNIE 2.0持續(xù)學(xué)習(xí)語義理解框架
ERNIE好用么？
好不好用，擺事實才知道。
直播環(huán)節(jié)中，龍老師直接用填空題的形式展示了ERNIE與BERT在填空方面的表現(xiàn)。
例如題目：中國歷史上唯一的正統(tǒng)女皇帝是[？][？][？]，下面是直播中兩種算法的表現(xiàn)：
ERNIE的結(jié)果是“武則天”，而BERT的結(jié)果是“宋太帝”。ERNIE能輸出“武則天”說明它確實能學(xué)到“武則天”與“女皇帝”之間的關(guān)聯(lián)。
而BERT輸出的“宋太帝”雖然每個字“宋”、“太”、“帝”都與“皇帝”相關(guān)，但是連在一起就不是一個完整的詞，而且也不能與“女皇帝”的形成照應(yīng)。
再如，陳曉的妻子是[？][？][？]
ERNIE用答案向我們證明了自己不只懂百科，也懂八卦。
通過上面的DEMO測試，我們也就引出了這樣一個問題：
ERNIE和BERT最大的區(qū)別是什么？
ERNIE1.0能夠充分學(xué)習(xí)詞語、短語、命名實體識別中字與字之間的關(guān)系，將其整體進(jìn)行掩碼。而BERT不具備這樣的能力。ERNIE2.0則通過持續(xù)構(gòu)造輔助任務(wù)讓ERNIE進(jìn)行學(xué)習(xí)，會的任務(wù)越多能力越強大。
這與BERT只靠一兩個任務(wù)進(jìn)行預(yù)訓(xùn)練的思路是完全不同的。就像小學(xué)生做題，一直只練一種題型肯定是不行的，需要多種題型都會做，既要有專項突破也要有綜合練習(xí)，這樣才能成為真正的學(xué)霸。
隨著多樣的訓(xùn)練數(shù)據(jù)的增加，ERNIE通過持續(xù)學(xué)習(xí)就能夠?qū)W得越來越好。
ERNIE作為模型，也需要與深度學(xué)習(xí)框架的深度配合，才能實現(xiàn)最佳的效果。百度開源的深度學(xué)習(xí)框架飛槳（PaddlePaddle）對ERNIE模型有非常好的定制優(yōu)化，使得其加速比達(dá)到77%，可以說是ERNIE背后的神助攻。
ERNIE借助飛槳 PaddlePaddle 多機分布式訓(xùn)練優(yōu)勢，利用 79億 tokens 訓(xùn)練數(shù)據(jù)（約1/4的 XLNet 數(shù)據(jù)）和64張 V100（約1/8的 XLNet 硬件算力）訓(xùn)練的 ERNIE 2.0預(yù)訓(xùn)練模型不僅實現(xiàn)了在中英文16個任務(wù)上的最優(yōu)效果，而且為開發(fā)人員定制自己的 NLP 模型提供了方案。
目前，百度開源了 ERNIE 2.0的 Fine-tuning 代碼和英文預(yù)訓(xùn)練模型。
本次基于艾尼ERNIE的直播，同步在愛奇藝、IT大咖說、BiliBili、虎牙、斗魚五個平臺同步直播，收到了近3W開發(fā)者的關(guān)注與討論。
直播回放視頻已經(jīng)上線，歡迎大家繼續(xù)學(xué)習(xí)~
回顧ERNIE的原理、優(yōu)勢以及案例，請戳回放視頻：http://play.itdks.com/watch/8591895
在9月，ERNIE的線下培訓(xùn)課程也會在北京、深圳、上海三地分別落地，敲重點，課程免費！
— 完 —
- 長城汽車自研芯片點亮！提前布局下一代架構(gòu)RISC-V，魏建軍：不能再受制于人2024-09-27
- 騰訊云發(fā)布自研大數(shù)據(jù)高性能計算引擎Meson，性能最高提升6倍2024-07-04
- Intel2024-03-18
- 數(shù)字員工全新發(fā)布 加速企業(yè)轉(zhuǎn)型2024-01-15
相關(guān)閱讀
MEET2021 | 地平線黃暢：軟件2.0時代，數(shù)據(jù)驅(qū)動進(jìn)化，算力將成為智能化的基石
“車載AI芯片，不僅是智能汽車的數(shù)字發(fā)動機，也是整個芯片行業(yè)的珠穆朗瑪峰?！?/p>
意-1301472663869587503-1.jpeg)
“情緒伙伴”Emohaa在線“抱抱”拯救心靈
國內(nèi)一款名為Emohaa的情感支持聊天機器人，恰逢此時投入“抗疫”隊伍，作為24小時在線的“情緒伙伴”，為飽受疫情影響焦慮不安的人們帶來心靈撫慰。
