四兩撥千斤！AI大牛周明率瀾舟團(tuán)隊(duì)刷新CLUE新紀(jì)錄，輕量化模型孟子一鳴驚人

十三 2021-07-13 13:18:44 來源：量子位

雷剛 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

剛剛，中文語言理解權(quán)威評(píng)測(cè)基準(zhǔn)CLUE榜單，被“低調(diào)”刷新。

不同的是，不是大公司、不是超大模型……

一個(gè)新面孔，一個(gè)輕量化模型，首戰(zhàn)即登頂，四兩撥千斤。

CLUE近年來由巨頭——騰訊、搜狗、華為、阿里達(dá)摩院輪番霸榜的格局，被首次打破。

瀾舟科技-創(chuàng)新工場(chǎng)推出的孟子模型，以十億參數(shù)完成了此前百億、千億參數(shù)模型刷新的紀(jì)錄。

這也是瀾舟科技首次對(duì)外曝光，背后團(tuán)隊(duì)負(fù)責(zé)人，正是AI大牛周明。

輕量化模型孟子？

孟子，基于瀾舟團(tuán)隊(duì)自研技術(shù)研發(fā)的大規(guī)模預(yù)訓(xùn)練語言模型。

包括創(chuàng)新工場(chǎng)、上海交通大學(xué)、北京理工大學(xué)等單位參與聯(lián)合研發(fā)。

可處理多語言、多模態(tài)數(shù)據(jù)，同時(shí)支持多種文本理解和文本生成任務(wù)，能快速滿足不同領(lǐng)域、不同應(yīng)用場(chǎng)景的需求。

孟子模型基于Transformer架構(gòu)，僅包含十億參數(shù)量，基于數(shù)百G級(jí)別涵蓋互聯(lián)網(wǎng)網(wǎng)頁(yè)、社區(qū)、新聞、電子商務(wù)、金融等領(lǐng)域的高質(zhì)量語料訓(xùn)練。

但誰也沒想到，小模型卻有大智慧，一經(jīng)登場(chǎng)，打破格局。

CLUE，中文語言理解領(lǐng)域最具權(quán)威性的測(cè)評(píng)基準(zhǔn)，涵蓋文本相似度、分類、自然語言推理、閱讀理解等共10項(xiàng)語義分析和理解類子任務(wù)。

該榜單競(jìng)爭(zhēng)激烈，幾乎是業(yè)內(nèi)所有自然語言理解玩家必爭(zhēng)之地。

騰訊、搜狗、華為、阿里達(dá)摩院等更是輪番霸榜刷新紀(jì)錄。

而且隨著大參數(shù)模型愈演愈烈，CLUE還漸有巨頭壟斷之勢(shì)。

因?yàn)榘賰|、千億甚至萬億參數(shù)的大模型，已然不再是創(chuàng)業(yè)或其他玩家可與之爭(zhēng)鋒。

萬萬沒想到，瀾舟科技-創(chuàng)新工場(chǎng)團(tuán)隊(duì)出手，四兩撥千斤。

因?yàn)槊献?，走的是基于輕量級(jí)、高效訓(xùn)練的研究路線，致力于構(gòu)建十億級(jí)別的小模型，充分發(fā)揮已有參數(shù)下的模型潛力，有利于快速、低成本地落地現(xiàn)實(shí)業(yè)務(wù)場(chǎng)景。

孟子預(yù)訓(xùn)練模型性能比肩甚至超越千億大模型，在包含文本分類、閱讀理解等各類任務(wù)上表現(xiàn)出色。

相對(duì)已有的中文語言模型，孟子模型實(shí)現(xiàn)了多項(xiàng)突破性進(jìn)展：

• 1） 堅(jiān)持“小而精”的輕量化訓(xùn)練策略。實(shí)現(xiàn)在同等模型規(guī)模下，遠(yuǎn)超公開模型的性能。作為精巧的小模型，對(duì)標(biāo)“巨無霸”，小模型性能超越千億規(guī)模模型。
• 2）使用知識(shí)圖譜增強(qiáng)模型，讓 AI 真正獲得知識(shí)。孟子模型具備頂尖的語言理解能力，在權(quán)威CLUE中文理解評(píng)測(cè)的總排行榜，以及分類排行榜和閱讀理解排行榜均位列第一，刷新三項(xiàng)榜單世界紀(jì)錄。總排行榜分?jǐn)?shù)突破84分，逼近人類基準(zhǔn)分?jǐn)?shù)（85.61）。
• 3）靈活的領(lǐng)域和場(chǎng)景適應(yīng)能力，方便快速定制和應(yīng)用?；赥5-style的端到端生成的訓(xùn)練范式，同步適配BERT-style的判定式架構(gòu)，既能理解也能生成。便于適配行業(yè)應(yīng)用，覆蓋廣泛業(yè)務(wù)場(chǎng)景。

當(dāng)然，隨著孟子一鳴驚人，也必然能讓輕量化模型研究來到聚光燈下。

原理方法和應(yīng)用？

在輕量化模型算法研究方面，基于自研的基于語言學(xué)知識(shí)、知識(shí)圖譜和領(lǐng)域數(shù)據(jù)增強(qiáng)等技術(shù)，從模型架構(gòu)（包括基礎(chǔ)層Embedding表示和交互層Attention機(jī)制）到預(yù)訓(xùn)練策略進(jìn)行了全方位改進(jìn)。

具體有四方面：

• 1) 模型結(jié)構(gòu)方面，將語義角色、詞性標(biāo)注等語言學(xué)特征融合到Embedding表示中，基于句法約束引入注意力機(jī)制中，從而提升模型對(duì)語言學(xué)知識(shí)的建模能力。
• 2) 訓(xùn)練策略上，引入基于實(shí)體知識(shí)和Discourse的Mask機(jī)制，強(qiáng)化模型對(duì)語言成分和語篇關(guān)系的表征。
• 3) 為進(jìn)一步提高訓(xùn)練效率，使用了大模型蒸餾和初始化小模型策略。
• 4) 為更好地將孟子模型適應(yīng)垂直領(lǐng)域如金融、營(yíng)銷，使用了領(lǐng)域數(shù)據(jù)繼續(xù)訓(xùn)練并構(gòu)造相應(yīng)的提示模版（Prompt），取得了明顯的性能提升。

△孟子輕量化模型算法策略

基于以上算法策略，實(shí)現(xiàn)從語料中高效學(xué)習(xí)涵蓋詞級(jí)、句子級(jí)和語篇級(jí)知識(shí)，大幅提升語言模型提煉語言結(jié)構(gòu)和語義信息能力，以及良好的領(lǐng)域遷移能力，適應(yīng)廣泛的產(chǎn)品應(yīng)用場(chǎng)景。

另外，在Finetune的進(jìn)展方面，如何將預(yù)訓(xùn)練模型用于各項(xiàng)任務(wù)？

瀾舟團(tuán)隊(duì)也有總結(jié)，從數(shù)據(jù)增強(qiáng)、知識(shí)蒸餾、遷移訓(xùn)練、訓(xùn)練優(yōu)化等方面展開了一些探索，進(jìn)一步提升語言模型的性能：

• 1) 數(shù)據(jù)增強(qiáng)：使用領(lǐng)域相關(guān)數(shù)據(jù)；
• 2) 知識(shí)蒸餾：基于Teacher-Student自蒸餾提升訓(xùn)練效率；
• 3) 遷移訓(xùn)練：結(jié)合課程學(xué)習(xí)的思想，由易到難訓(xùn)練下游模型；
• 4) 訓(xùn)練優(yōu)化：使用多種訓(xùn)練目標(biāo)，多角度提升模型能力；

而且孟子還已經(jīng)展開了垂直化領(lǐng)域應(yīng)用。

基于領(lǐng)域適應(yīng)技術(shù)，孟子模型已深度垂直化賦能相應(yīng)行業(yè)。典型的例子為適用于金融領(lǐng)域的孟子模型，領(lǐng)域適應(yīng)策略主要包含兩大方面：

• 1) 通過大規(guī)模的泛金融領(lǐng)域語料，將通用孟子模型遷移到金融領(lǐng)域。金融版孟子模型已經(jīng)應(yīng)用于多個(gè)金融行業(yè)的合作企業(yè)，在金融知識(shí)圖譜搭建、脫水研報(bào)、公告抽取等多個(gè)任務(wù)上獲得了出色的表現(xiàn)。
• 2) 通過大規(guī)模的營(yíng)銷領(lǐng)域語料，將孟子模型遷移到數(shù)字營(yíng)銷領(lǐng)域，完成了營(yíng)銷文案生成、新聞?wù)榷囗?xiàng)任務(wù)，將用于行業(yè)頭部的數(shù)字營(yíng)銷公司和多個(gè)世界五百?gòu)?qiáng)企業(yè)的合作之中。

瀾舟方面還透露，孟子模型已在多個(gè)領(lǐng)域成功落地實(shí)踐，衍生出多項(xiàng)行業(yè)領(lǐng)先的產(chǎn)品，涵蓋文本生成、行業(yè)搜索、機(jī)器翻譯等諸多領(lǐng)域。

并且毫無疑問的是，因?yàn)檩p量級(jí)模型具有的模型參數(shù)較少、快速推斷的特點(diǎn)，更易于線上部署和推廣到移動(dòng)設(shè)備中，自然不會(huì)局限于現(xiàn)有應(yīng)用和場(chǎng)景，接下來還會(huì)有更廣泛的研究和應(yīng)用場(chǎng)景中。

瀾舟團(tuán)隊(duì)？

最后，也簡(jiǎn)單介紹本次一鳴驚人的新面孔瀾舟科技。

瀾舟科技是創(chuàng)新工場(chǎng)孵化的一家認(rèn)知智能公司。

公司創(chuàng)始人——周明博士。

AI領(lǐng)域內(nèi)，周明已不用過多介紹，他是公認(rèn)的世界級(jí)AI科學(xué)家，自然語言處理領(lǐng)域的代表性人物。

周明博士在2020年加盟創(chuàng)新工場(chǎng)，擔(dān)任創(chuàng)新工場(chǎng)首席科學(xué)家。

而瀾舟科技則針對(duì)商業(yè)場(chǎng)景的數(shù)字化轉(zhuǎn)型，基于大數(shù)據(jù)、知識(shí)圖譜和行業(yè)模型，提供新一代的信息檢索、知識(shí)推理和商業(yè)洞見技術(shù)和相關(guān)產(chǎn)品。

據(jù)稱目前已與國(guó)內(nèi)外幾十所著名高校和十余個(gè)相關(guān)領(lǐng)域的頭部企業(yè)建立了穩(wěn)定的合作關(guān)系。

值得注意的是，瀾舟科技除了大牛坐鎮(zhèn)，其實(shí)也是行業(yè)趨勢(shì)的體現(xiàn)。

引用創(chuàng)新工場(chǎng)董事長(zhǎng)兼CEO李開復(fù)最新分享來說：

AI的發(fā)展可以按照兩個(gè)時(shí)間點(diǎn)劃分。

第一個(gè)時(shí)間點(diǎn)是2015年，以CNN為核心的計(jì)算機(jī)視覺技術(shù)讓機(jī)器超越了人類，帶來了人臉識(shí)別、智能質(zhì)檢、無人零售、智慧城市、無人駕駛等商機(jī)。

而第二個(gè)時(shí)間點(diǎn)出現(xiàn)在2019年，以大模型為代表的自然語言方向取得突破性進(jìn)展，讓NLP從數(shù)據(jù)、信息走向知識(shí)和洞見成為可能，將會(huì)在翻譯、語音識(shí)別、法律、金融、新聞、廣告、醫(yī)療、娛樂等大賽道帶來機(jī)遇。

“如果說CNN造就了今天計(jì)算機(jī)視覺領(lǐng)域的突破和眾多應(yīng)用，‘預(yù)訓(xùn)練大模型+微調(diào)’也將帶來自然語言的百花齊放的發(fā)展，用數(shù)據(jù)智能驅(qū)動(dòng)各類業(yè)務(wù)的升級(jí)。瀾舟科技在周明老師的帶領(lǐng)下取得了今天的成果，在新機(jī)遇面前躬身入局，一起發(fā)掘NLP領(lǐng)域的黃金發(fā)展期”，李開復(fù)說到。