四兩撥千斤！AI大牛周明率瀾舟團隊刷新CLUE新紀(jì)錄，輕量化模型孟子一鳴驚人

十三 2021-07-13 13:18:44 來源：量子位

雷剛 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

剛剛，中文語言理解權(quán)威評測基準(zhǔn)CLUE榜單，被“低調(diào)”刷新。

不同的是，不是大公司、不是超大模型……

一個新面孔，一個輕量化模型，首戰(zhàn)即登頂，四兩撥千斤。

CLUE近年來由巨頭——騰訊、搜狗、華為、阿里達摩院輪番霸榜的格局，被首次打破。

瀾舟科技-創(chuàng)新工場推出的孟子模型，以十億參數(shù)完成了此前百億、千億參數(shù)模型刷新的紀(jì)錄。

這也是瀾舟科技首次對外曝光，背后團隊負責(zé)人，正是AI大牛周明。

輕量化模型孟子？

孟子，基于瀾舟團隊自研技術(shù)研發(fā)的大規(guī)模預(yù)訓(xùn)練語言模型。

包括創(chuàng)新工場、上海交通大學(xué)、北京理工大學(xué)等單位參與聯(lián)合研發(fā)。

可處理多語言、多模態(tài)數(shù)據(jù)，同時支持多種文本理解和文本生成任務(wù)，能快速滿足不同領(lǐng)域、不同應(yīng)用場景的需求。

孟子模型基于Transformer架構(gòu)，僅包含十億參數(shù)量，基于數(shù)百G級別涵蓋互聯(lián)網(wǎng)網(wǎng)頁、社區(qū)、新聞、電子商務(wù)、金融等領(lǐng)域的高質(zhì)量語料訓(xùn)練。

但誰也沒想到，小模型卻有大智慧，一經(jīng)登場，打破格局。

CLUE，中文語言理解領(lǐng)域最具權(quán)威性的測評基準(zhǔn)，涵蓋文本相似度、分類、自然語言推理、閱讀理解等共10項語義分析和理解類子任務(wù)。

該榜單競爭激烈，幾乎是業(yè)內(nèi)所有自然語言理解玩家必爭之地。

騰訊、搜狗、華為、阿里達摩院等更是輪番霸榜刷新紀(jì)錄。

而且隨著大參數(shù)模型愈演愈烈，CLUE還漸有巨頭壟斷之勢。

因為百億、千億甚至萬億參數(shù)的大模型，已然不再是創(chuàng)業(yè)或其他玩家可與之爭鋒。

萬萬沒想到，瀾舟科技-創(chuàng)新工場團隊出手，四兩撥千斤。

因為孟子，走的是基于輕量級、高效訓(xùn)練的研究路線，致力于構(gòu)建十億級別的小模型，充分發(fā)揮已有參數(shù)下的模型潛力，有利于快速、低成本地落地現(xiàn)實業(yè)務(wù)場景。

孟子預(yù)訓(xùn)練模型性能比肩甚至超越千億大模型，在包含文本分類、閱讀理解等各類任務(wù)上表現(xiàn)出色。

相對已有的中文語言模型，孟子模型實現(xiàn)了多項突破性進展：

• 1） 堅持“小而精”的輕量化訓(xùn)練策略。實現(xiàn)在同等模型規(guī)模下，遠超公開模型的性能。作為精巧的小模型，對標(biāo)“巨無霸”，小模型性能超越千億規(guī)模模型。
• 2）使用知識圖譜增強模型，讓 AI 真正獲得知識。孟子模型具備頂尖的語言理解能力，在權(quán)威CLUE中文理解評測的總排行榜，以及分類排行榜和閱讀理解排行榜均位列第一，刷新三項榜單世界紀(jì)錄?？偱判邪穹謹?shù)突破84分，逼近人類基準(zhǔn)分數(shù)（85.61）。
• 3）靈活的領(lǐng)域和場景適應(yīng)能力，方便快速定制和應(yīng)用?；赥5-style的端到端生成的訓(xùn)練范式，同步適配BERT-style的判定式架構(gòu)，既能理解也能生成。便于適配行業(yè)應(yīng)用，覆蓋廣泛業(yè)務(wù)場景。

當(dāng)然，隨著孟子一鳴驚人，也必然能讓輕量化模型研究來到聚光燈下。

原理方法和應(yīng)用？

在輕量化模型算法研究方面，基于自研的基于語言學(xué)知識、知識圖譜和領(lǐng)域數(shù)據(jù)增強等技術(shù)，從模型架構(gòu)（包括基礎(chǔ)層Embedding表示和交互層Attention機制）到預(yù)訓(xùn)練策略進行了全方位改進。

具體有四方面：

• 1) 模型結(jié)構(gòu)方面，將語義角色、詞性標(biāo)注等語言學(xué)特征融合到Embedding表示中，基于句法約束引入注意力機制中，從而提升模型對語言學(xué)知識的建模能力。
• 2) 訓(xùn)練策略上，引入基于實體知識和Discourse的Mask機制，強化模型對語言成分和語篇關(guān)系的表征。
• 3) 為進一步提高訓(xùn)練效率，使用了大模型蒸餾和初始化小模型策略。
• 4) 為更好地將孟子模型適應(yīng)垂直領(lǐng)域如金融、營銷，使用了領(lǐng)域數(shù)據(jù)繼續(xù)訓(xùn)練并構(gòu)造相應(yīng)的提示模版（Prompt），取得了明顯的性能提升。

△孟子輕量化模型算法策略

基于以上算法策略，實現(xiàn)從語料中高效學(xué)習(xí)涵蓋詞級、句子級和語篇級知識，大幅提升語言模型提煉語言結(jié)構(gòu)和語義信息能力，以及良好的領(lǐng)域遷移能力，適應(yīng)廣泛的產(chǎn)品應(yīng)用場景。

另外，在Finetune的進展方面，如何將預(yù)訓(xùn)練模型用于各項任務(wù)？

瀾舟團隊也有總結(jié)，從數(shù)據(jù)增強、知識蒸餾、遷移訓(xùn)練、訓(xùn)練優(yōu)化等方面展開了一些探索，進一步提升語言模型的性能：

• 1) 數(shù)據(jù)增強：使用領(lǐng)域相關(guān)數(shù)據(jù)；
• 2) 知識蒸餾：基于Teacher-Student自蒸餾提升訓(xùn)練效率；
• 3) 遷移訓(xùn)練：結(jié)合課程學(xué)習(xí)的思想，由易到難訓(xùn)練下游模型；
• 4) 訓(xùn)練優(yōu)化：使用多種訓(xùn)練目標(biāo)，多角度提升模型能力；

而且孟子還已經(jīng)展開了垂直化領(lǐng)域應(yīng)用。

基于領(lǐng)域適應(yīng)技術(shù)，孟子模型已深度垂直化賦能相應(yīng)行業(yè)。典型的例子為適用于金融領(lǐng)域的孟子模型，領(lǐng)域適應(yīng)策略主要包含兩大方面：

• 1) 通過大規(guī)模的泛金融領(lǐng)域語料，將通用孟子模型遷移到金融領(lǐng)域。金融版孟子模型已經(jīng)應(yīng)用于多個金融行業(yè)的合作企業(yè)，在金融知識圖譜搭建、脫水研報、公告抽取等多個任務(wù)上獲得了出色的表現(xiàn)。
• 2) 通過大規(guī)模的營銷領(lǐng)域語料，將孟子模型遷移到數(shù)字營銷領(lǐng)域，完成了營銷文案生成、新聞?wù)榷囗椚蝿?wù)，將用于行業(yè)頭部的數(shù)字營銷公司和多個世界五百強企業(yè)的合作之中。

瀾舟方面還透露，孟子模型已在多個領(lǐng)域成功落地實踐，衍生出多項行業(yè)領(lǐng)先的產(chǎn)品，涵蓋文本生成、行業(yè)搜索、機器翻譯等諸多領(lǐng)域。

并且毫無疑問的是，因為輕量級模型具有的模型參數(shù)較少、快速推斷的特點，更易于線上部署和推廣到移動設(shè)備中，自然不會局限于現(xiàn)有應(yīng)用和場景，接下來還會有更廣泛的研究和應(yīng)用場景中。

瀾舟團隊？

最后，也簡單介紹本次一鳴驚人的新面孔瀾舟科技。

瀾舟科技是創(chuàng)新工場孵化的一家認知智能公司。

公司創(chuàng)始人——周明博士。

AI領(lǐng)域內(nèi)，周明已不用過多介紹，他是公認的世界級AI科學(xué)家，自然語言處理領(lǐng)域的代表性人物。

周明博士在2020年加盟創(chuàng)新工場，擔(dān)任創(chuàng)新工場首席科學(xué)家。

而瀾舟科技則針對商業(yè)場景的數(shù)字化轉(zhuǎn)型，基于大數(shù)據(jù)、知識圖譜和行業(yè)模型，提供新一代的信息檢索、知識推理和商業(yè)洞見技術(shù)和相關(guān)產(chǎn)品。

據(jù)稱目前已與國內(nèi)外幾十所著名高校和十余個相關(guān)領(lǐng)域的頭部企業(yè)建立了穩(wěn)定的合作關(guān)系。

值得注意的是，瀾舟科技除了大牛坐鎮(zhèn)，其實也是行業(yè)趨勢的體現(xiàn)。

引用創(chuàng)新工場董事長兼CEO李開復(fù)最新分享來說：

AI的發(fā)展可以按照兩個時間點劃分。

第一個時間點是2015年，以CNN為核心的計算機視覺技術(shù)讓機器超越了人類，帶來了人臉識別、智能質(zhì)檢、無人零售、智慧城市、無人駕駛等商機。

而第二個時間點出現(xiàn)在2019年，以大模型為代表的自然語言方向取得突破性進展，讓NLP從數(shù)據(jù)、信息走向知識和洞見成為可能，將會在翻譯、語音識別、法律、金融、新聞、廣告、醫(yī)療、娛樂等大賽道帶來機遇。

“如果說CNN造就了今天計算機視覺領(lǐng)域的突破和眾多應(yīng)用，‘預(yù)訓(xùn)練大模型+微調(diào)’也將帶來自然語言的百花齊放的發(fā)展，用數(shù)據(jù)智能驅(qū)動各類業(yè)務(wù)的升級。瀾舟科技在周明老師的帶領(lǐng)下取得了今天的成果，在新機遇面前躬身入局，一起發(fā)掘NLP領(lǐng)域的黃金發(fā)展期”，李開復(fù)說到。