中文預訓練模型ZEN開源，效果領(lǐng)域內(nèi)最佳，創(chuàng)新工場港科大出品

允中 發(fā)自 凹非寺

量子位 報道 | 公眾號 QbitAI

改進策略簡單有效、收斂速度快，同時小數(shù)據(jù)效果出色。

這就是中文預訓練模型ZEN。

在中文任務中，ZEN不僅性能優(yōu)于BERT，也比之前中文預訓練模型更好。

可以說是目前全球中文領(lǐng)域最佳預訓練模型。

而且現(xiàn)在，ZEN開源了。源代碼和訓練好的模型均已發(fā)布，未來還承諾會有更大數(shù)據(jù)和其他語言版本迭代上新。

詳情我們展開往下說。

ZEN因何而生

隨著BERT（Devlin et al., 2018）等一系列預訓練模型的出現(xiàn)，該類型上下文相關(guān)表征方法受到了自然語言處理領(lǐng)域持續(xù)大范圍的關(guān)注。

這些預訓練模型帶來的好處是顯而易見：

一方面，它們可以利用大規(guī)模無標注純文本語料進行學習；

另一方面，它們是對于文本的有效表征，并且大量實驗表明，基于預訓練模型的各類NLP模型相比于以前的方法能帶來巨大的性能提升。

一般來說，預訓練模型研究通常分為兩個步驟：第一步是預訓練 (pre-training)，第二步是微調(diào)整 (fine-tune)。

其中，預訓練是指通過在大規(guī)模無標注的語料上進行無監(jiān)督訓練，來學習通用的語言表達和上下文行文特點。

微調(diào)整指在特定的任務上，再次利用任務數(shù)據(jù)訓練和調(diào)整預訓練模型參數(shù)的過程。

目前，大多數(shù)中文預訓練模型基本上沿用了英文模型的做法，聚焦于小顆粒度文本單元（字）的輸入。

然而，與英文相比，中文沒有空格等明確的詞語邊界。

這個特點使得很多文本表達中存在的交叉歧義也被帶入了以字為序列的文本編碼中，使得模型更難從單字的序列中學習到大顆粒度文本蘊含的語義信息，例如雙字或者多字詞的整體含義等。

雖然通過大規(guī)模文本建模可以一定程度上區(qū)分不同上下文環(huán)境的語義，但是依然沒有充分并顯式地利用預訓練和微調(diào)整語料中經(jīng)常出現(xiàn)的詞、短語、實體等更大顆粒度的信息。

目前很多模型的解決方法依然是遵循傳統(tǒng)BERT模型的遮蓋（masking）策略，例如采用多層（詞，短語等）遮蓋策略來彌補這一缺陷。

然而遮蓋策略依然只是一種弱監(jiān)督學習方法，用于學習詞邊界信息含有諸多問題：

• 第一，信息的質(zhì)量無法得到保證，例如BERT-wwm（Cui et al., 2019）的效果依賴于外部中文分詞的質(zhì)量；
• 第二，因為基于遮蓋方式訓練存在一個基礎(chǔ)難題，即遮蓋過程在訓練中存在，但是在測試過程中并不存在，因此直接利用遮蓋方式學習的詞和短語信息會導致訓練和測試過程的不匹配。

因此，如果能夠有效集成大顆粒度文本的信息，并且在訓練和測試過程中顯式地加入這樣的信息將有助于提升模型的表征能力。

于是，基于BERT的n-gram增強中文文本編碼器ZEN，由此而生。

它可以顯式地結(jié)合潛在詞語的邊界信息來幫助模型更好地對文本進行表征。ZEN有兩大優(yōu)勢：

簡單有效。從數(shù)據(jù)上看，與其他模型引入更多數(shù)據(jù)不同，ZEN僅僅基于中文維基百科進行訓練。

ZEN不需要更多的數(shù)據(jù)集，但是卻顯示出了與其他模型相當?shù)男Ч?。從模型上看，引入n-gram編碼器的方式簡單靈活，不需要其他繁雜的預訓練優(yōu)化方式。

收斂迅速。因為模型結(jié)構(gòu)簡單，實驗表明相比于原生BERT,ZEN模型收斂速度明顯提高，在更短的時間內(nèi)取得了更好的效果。這對于資源緊張的研究人員來講，無疑是一個好消息。

另外，在涵蓋詞匯級和句子級兩個層級的七大經(jīng)典中文語言處理任務中——包括中文分詞（CWS），詞性標注（POS），命名實體識別（NER），文本分類（DC），情感分類（SA），語義匹配（SPM），自然語言推理（NLI），ZEN在七個下游任務上都帶來了顯著的提升。同時本文還在小規(guī)模數(shù)據(jù)集上進行了實驗，模擬了只有少量預訓練數(shù)據(jù)語料的場景。

而且ZEN如此效果，也展示了未來應用到其他文本受限領(lǐng)域的潛力，比如醫(yī)療。

同時，該研究中加入大顆粒度文本的方式是一種通用的增強方式，未來可在中文之外的其他語言上也得到應用。

具體模型

ZEN的模型架構(gòu)如圖所示：

N-gram 抽取

首先，利用已有的預訓練語料，基于頻率來抽取n-gram，構(gòu)造n-gram 詞匯表(lexicon)。

其次，模型在將單字的序列作為輸入的同時，也將出現(xiàn)的n-gram作為輸入標記。利用已有的詞匯表，對預訓練數(shù)據(jù)中的每一個輸入，抽取句中出現(xiàn)的n-gram。

N-gram 編碼

給定一個輸入句子相應的多個n-gram，本文利用了一個6層的transformer結(jié)構(gòu)作為n-gram encoder，來對輸入的n-gram提取特征進行編碼。n-gram的嵌入向量經(jīng)過n-gram encoder，得到n-gram的表示。

有了n-gram的表示之后，ZEN將字（Character）的表示與每個字對應的n-gram向量表示結(jié)合起來，在輸出端相加，并一起被輸入至后續(xù)結(jié)構(gòu)之中。

結(jié)合n-gram和字編碼的預訓練

如圖1所示，輸入的帶n-gram標記的句子首先會經(jīng)過嵌入層 (Embedding Layer)。在這一層里，每個輸入的單字和n-gram會被替換成嵌入矩陣中對應位置的向量。

與此同時，每個向量會被加上一個Positional Encoding，用來表示其在句子之中出現(xiàn)的位置。

之后，字的嵌入向量會被輸入Character Encoder，進行計算并得到每個字在這一層的向量表達。

與此同時，n-gram的嵌入向量會被輸入n-gram encoder。兩部分輸出會被同時輸入attention encoder。

模型的最末端會被接入全連接層和Softmax層結(jié)構(gòu)來幫助完成預訓練。

實驗結(jié)果

如上圖，ZEN的總體性能及其與現(xiàn)有模型在七項NLP任務上的比較情況。

文章對BERT和ZEN兩個模型分別實現(xiàn)了兩組設置：R（隨機初始化） 和 P（基于谷歌開源的BERT中文模型進行初始化）。

實驗結(jié)果表明，在兩組設置上，ZEN都取得了比BERT更好的性能。

同時，ZEN與現(xiàn)有的其他模型在七個任務上進行了比較，ZEN取得了包括CWS、POS、NER、DC、SPM在內(nèi)的五個任務上最好的結(jié)果。

在僅僅利用中文維基百科，沒有其他語料的前提下，在情感分類和自然語言推理任務上也達到了相當不錯的表現(xiàn)。

分析討論

小數(shù)據(jù)集潛力

除了以上實驗，該研究還探究了模型在小數(shù)據(jù)集上的潛力。

考慮到目前的預訓練模型使用了大型的訓練語料，但是對于很多特殊的領(lǐng)域，大型數(shù)據(jù)集很難獲取。

因此本文抽出1/10的中文維基百科語料，來模擬了一種語料有限的場景，目的是探究ZEN在小數(shù)據(jù)集上的潛力。

實驗結(jié)果如下圖所示，在全部七個任務上，ZEN都明顯優(yōu)于BERT。這表明ZEN在數(shù)據(jù)有限的場景下，具有更大的潛力。

收斂速度

中文分詞和情感分類兩個任務被用于該分析的探測任務，來探究BERT與ZEN的收斂速度造成在這些任務上性能的差異。

兩個任務上的實驗都表明，ZEN可以在更少的迭代次數(shù)情況下達到更高的性能。

如上圖，BERT與ZEN在中文分詞任務（左圖）和情感分類任務（右圖）收斂速度的比較情況。

熱圖分析

通過熱度圖，還通過實驗分析了兩個案例，將n-gram encoder的注意力機制可視化出來。

通過熱度圖可以清晰地看到，注意力會更多的關(guān)注在有效的n-gram。比如“波士頓”的權(quán)重明顯高于“士頓”。對于有劃分歧義的句子，n-gram encoder可以正確的關(guān)注到“速度”而不是“高速”。

更加有趣的是，在不同層次的encoder關(guān)注的n-gram也不同。更高層的encoder對于“提高速度”和“波士頓咨詢”這樣更長的有效n-gram分配了更多的權(quán)重。

這表明，結(jié)合n-gram的方法的預訓練，不僅僅提供給文本編碼器更強大的文本表征能力，甚至還間接產(chǎn)生了一種文本分析的有效方法。這個案例分析暗示我們，或許將來可以用類似地方法提供無指導的文本抽取和挖掘

結(jié)語

所以通過研究解析，也可以看出，ZEN對高概率成詞的n-gram添加了獨有的編碼和向量表示，此模型可以提供更強的文本的編碼能力和理解能力。

在多個中文自然語言任務之上都有比基于單字的語言模型有更好的表現(xiàn)效果。

與之前的中文預訓練模型相比，ZEN的優(yōu)勢在于提出的改進策略簡單有效并且收斂速度快，同時在有限語料的基礎(chǔ)上可以達到更大規(guī)模語料的訓練效果。

相比于大多數(shù)已有研究對預訓練策略的改進，ZEN是為數(shù)不多的對預訓練模型架構(gòu)進行了改進的工作。

這也帶來更進一步的啟示，可以深度探索已有模型的內(nèi)部機制，進一步分析文本及其表征模型中蘊含的Zen——禪意。

作者

最后，簡單介紹下ZEN模型背后的團隊。

這是創(chuàng)新工場AI工程院和香港科技大學的聯(lián)合研究。

或許對于VC身份的創(chuàng)新工場你已熟悉，但如此深入開展科研和前沿技術(shù)開源的創(chuàng)新工場旗下組織，你可能還不那么熟悉。

創(chuàng)新工場AI工程院成立于2016年9月，以“科研+工程實驗室”模式，規(guī)劃研發(fā)方向發(fā)展。

而且這也不是創(chuàng)新工場AI工程院首次成果展示，光2019年，其聯(lián)合國內(nèi)外科研高校，就有過8篇頂會論文研究披露。

包含NeurIPS 2019、ICCV、IROS、EMNLP、IEEE TVCG等在內(nèi)的頂會和頂級期刊，均有創(chuàng)新工場AI工程院的身影。

此外值得一體的是，今年創(chuàng)新工場AI工程院還有一篇區(qū)塊鏈技術(shù)論文入選計算機網(wǎng)絡頂級學術(shù)會議NSDI，這是國際主流學術(shù)界首次認可區(qū)塊鏈擴容方案的相關(guān)研究，是該會議今年錄取的唯一一篇與區(qū)塊鏈相關(guān)的論文。

創(chuàng)新工場也積極參與了國際相關(guān)的技術(shù)標準制定工作。例如，今年8月，第28屆國際人工智能聯(lián)合會議（IJCAI）在中國澳門隆重舉辦，期間召開了IEEE P3652.1（聯(lián)邦學習基礎(chǔ)架構(gòu)與應用）標準工作組第三次會議。

領(lǐng)軍人才方面，香港科技大學教授、前騰訊AI Lab主任張潼目前是創(chuàng)新工場科研合伙人、創(chuàng)新工場大灣區(qū)AI研究院名譽院長。

香港科技大學也是創(chuàng)新工場的重要合作機構(gòu)之一，今年3月20日，香港科技大學和創(chuàng)新工場還聯(lián)合宣布成立計算機感知與智能控制聯(lián)合實驗室（Computer Perception and Intelligent Control Lab）。

按照官方披露，目前創(chuàng)新工場AI工程院設有醫(yī)療AI、機器人、機器學習理論、計算金融、計算機感知等面向前沿科技與應用方向的研發(fā)實驗室，還先后設立了創(chuàng)新工場南京國際人工智能研究院、創(chuàng)新工場大灣區(qū)人工智能研究院。

目標是培養(yǎng)人工智能高端科研與工程人才，研發(fā)以機器學習為核心的前沿人工智能技術(shù)，并同各行業(yè)領(lǐng)域相結(jié)合，為行業(yè)場景提供一流的產(chǎn)品和解決方案。

所以怎么說呢？在新技術(shù)周期時代，創(chuàng)新工場可能是全世界最硬核、最愿意為技術(shù)研發(fā)投入的投資機構(gòu)了。

此次開源的中文預訓練模型ZEN，就是一個更好的開始。

對于學術(shù)科研領(lǐng)域來說，有錢有心的投資機構(gòu)們愿意參與推動這樣的技術(shù)進步，再好不過啦。

傳送門

ZEN開源地址：

https://github.com/sinovation/zen

論文地址：

http://arxiv.org/abs/1911.00720