今年高考英語(yǔ)AI得分134，復(fù)旦武大校友這項(xiàng)研究有點(diǎn)意思

明敏 2022-06-25 14:54:20 來(lái)源：量子位

明敏 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

在挑戰(zhàn)寫(xiě)語(yǔ)文作文后，AI現(xiàn)在又盯上了高考英語(yǔ)。

結(jié)果好家伙，今年高考英語(yǔ)卷（全國(guó)甲卷）一上手，就拿了134分。

而且不是偶然的超常發(fā)揮。

在2018-2021年的10套真題測(cè)試中，AI的分?jǐn)?shù)都在125分以上，最高紀(jì)錄為138.5分，聽(tīng)力和閱讀理解還拿過(guò)滿(mǎn)分。

這就是由CMU學(xué)者提出的，高考英語(yǔ)測(cè)試AI系統(tǒng)Qin。

它的參數(shù)量只有GPT-3的16分之一，平均成績(jī)卻比GPT-3高出15分。

其背后的秘訣名叫重構(gòu)預(yù)訓(xùn)練 （reStructured Pre-training），是作者提出的一種新學(xué)習(xí)范式。

具體來(lái)看，就是把維基百科、YouTube等平臺(tái)的信息重新提取重構(gòu)，再喂給AI進(jìn)行訓(xùn)練，由此讓AI具有更強(qiáng)的泛化能力。

兩位學(xué)者用足足100多頁(yè)的論文，深入解釋了這一新范式。

那么，這一范式到底講了什么？

我們來(lái)深扒一下~

什么是重構(gòu)預(yù)訓(xùn)練？

論文題目很簡(jiǎn)單，就叫reStructured Pre-training（重構(gòu)預(yù)訓(xùn)練，RST）。

核心觀(guān)點(diǎn)凝練來(lái)說(shuō)就是一句話(huà)，要重視數(shù)據(jù)??！

作者認(rèn)為，這個(gè)世界上有價(jià)值的信息無(wú)處不在，而目前的AI系統(tǒng)并沒(méi)有充分利用數(shù)據(jù)中的信息。

比如像維基百科，Github，里面包含了各種可以供模型學(xué)習(xí)的信號(hào)：實(shí)體，關(guān)系，文本摘要，文本主題等。這些信號(hào)之前由于技術(shù)瓶頸都沒(méi)有被考慮。

所以，作者在本文中提出了一種方法，可以用神經(jīng)網(wǎng)絡(luò)統(tǒng)一地存儲(chǔ)和訪(fǎng)問(wèn)包含各種類(lèi)型信息的數(shù)據(jù)。

他們以信號(hào)為單位、結(jié)構(gòu)化地表示數(shù)據(jù)，這很類(lèi)似于數(shù)據(jù)科學(xué)里我們常常將數(shù)據(jù)構(gòu)造成表或JSON格式，然后通過(guò)專(zhuān)門(mén)的語(yǔ)言（如SQL）來(lái)檢索所需的信息。

具體來(lái)看，這里的信號(hào)，其實(shí)就是指數(shù)據(jù)中的有用信息。

比如在“莫扎特生于薩爾茨堡”這句話(huà)中，“莫扎特”、“薩爾茨堡”就是信號(hào)。

然后，就需要在各種平臺(tái)上挖掘數(shù)據(jù)、提取信號(hào)，作者把這個(gè)過(guò)程比作了從礦山里尋寶。

接下來(lái)，利用prompt方法，就能將這些來(lái)自不同地方的信號(hào)統(tǒng)一成一種形式。

最后，再將這些重組的數(shù)據(jù)集成并存儲(chǔ)到語(yǔ)言模型中。

這樣一來(lái)，該研究就能從10個(gè)數(shù)據(jù)源中，統(tǒng)一26種不同類(lèi)型的信號(hào)，讓模型獲得很強(qiáng)的泛化能力。

結(jié)果表明，在多個(gè)數(shù)據(jù)集中，RST-T、RST-A零樣本學(xué)習(xí)的表現(xiàn)，都優(yōu)于GPT-3的少樣本學(xué)習(xí)性能。

而為了更進(jìn)一步測(cè)試新方法的表現(xiàn)，作者還想到了讓AI做高考題的方法。

他們表示，現(xiàn)在很多工作方法走的都是漢化GPT-3的思路，在評(píng)估的應(yīng)用場(chǎng)景上也是跟隨OpenAI、DeepMind。

比如GLUE測(cè)評(píng)基準(zhǔn)、蛋白質(zhì)折疊評(píng)分等。

基于對(duì)當(dāng)下AI模型發(fā)展的觀(guān)察，作者認(rèn)為可以開(kāi)辟出一條新的賽道試試，所以就想到了用高考給AI練練手。

他們找來(lái)了前后幾年共10套試卷進(jìn)行標(biāo)注，請(qǐng)高中老師來(lái)進(jìn)行打分。

像聽(tīng)力/識(shí)圖理解這樣的題目，還找來(lái)機(jī)器視覺(jué)、語(yǔ)音識(shí)別領(lǐng)域的學(xué)者幫忙。

最終，煉出了這套高考英語(yǔ)AI模型，也可以叫她為Qin。

從測(cè)試結(jié)果可以看到，Qin絕對(duì)是學(xué)霸級(jí)別了，10套卷子成績(jī)都高于T0pp和GPT-3。

此外，作者還提出了高考benchmark。

他們覺(jué)得當(dāng)下很多評(píng)價(jià)基準(zhǔn)的任務(wù)都很單一，大多沒(méi)有實(shí)用價(jià)值，和人類(lèi)情況對(duì)比也比較困難。

而高考題目既涵蓋了各種各樣的知識(shí)點(diǎn)，還直接有人類(lèi)分?jǐn)?shù)來(lái)做比對(duì)，可以說(shuō)是一箭雙雕了。

NLP的第五范式？

如果從更深層次來(lái)看，作者認(rèn)為，重構(gòu)預(yù)訓(xùn)練或許會(huì)成為NLP的一種新范式，即把預(yù)訓(xùn)練/微調(diào)過(guò)程視為數(shù)據(jù)存儲(chǔ)/訪(fǎng)問(wèn)過(guò)程。

此前，作者將NLP的發(fā)展總結(jié)成了4種范式：

• P1. 非神經(jīng)網(wǎng)絡(luò)時(shí)代的完全監(jiān)督學(xué)習(xí) （Fully Supervised Learning, Non-Neural Network）
• P2. 基于神經(jīng)網(wǎng)絡(luò)的完全監(jiān)督學(xué)習(xí) (Fully Supervised Learning, Neural Network)
• P3. 預(yù)訓(xùn)練，精調(diào)范式 (Pre-train, Fine-tune)
• P4. 預(yù)訓(xùn)練，提示，預(yù)測(cè)范式（Pre-train, Prompt, Predict）

但是基于當(dāng)下對(duì)NLP發(fā)展的觀(guān)察，他們認(rèn)為或許之后可以以一種data-centric的方式來(lái)看待問(wèn)題。

也就是，預(yù)訓(xùn)/精調(diào)、few-shot/zero-shot等概念的差異化會(huì)更加模糊，核心只關(guān)注一個(gè)點(diǎn)——

有價(jià)值的信息有多少、能利用多少。

此外，他們還提出了一個(gè)NLP進(jìn)化假說(shuō)。

其中的核心思想是，技術(shù)發(fā)展方向總是順著這樣的——做更少的事實(shí)現(xiàn)更好、更通用的系統(tǒng)。

作者認(rèn)為，NLP經(jīng)歷了特征工程、架構(gòu)工程、目標(biāo)工程、提示工程，當(dāng)下正在朝著數(shù)據(jù)工程方向發(fā)展。

復(fù)旦武大校友打造

本篇論文的一作為Weizhe Yuan。

她本科畢業(yè)于武漢大學(xué)，后赴卡內(nèi)基梅隆大學(xué)讀研，學(xué)習(xí)數(shù)據(jù)科學(xué)專(zhuān)業(yè)。

研究方向集中在NLP任務(wù)的文本生成和評(píng)估。

去年，她被AAAI 2022、NeurIPS 2021分別接收了一篇論文，還獲得了ACL 2021 Best Demo Paper Award。

論文的通訊作者為卡內(nèi)基梅隆大學(xué)語(yǔ)言技術(shù)研究所（LTI）的博士后研究員劉鵬飛。

他于2019年在復(fù)旦大學(xué)計(jì)算機(jī)系獲得博士學(xué)位，師從邱錫鵬教授、黃萱菁教授。

研究興趣包括NLP模型可解釋性、遷移學(xué)習(xí)、任務(wù)學(xué)習(xí)等。

博士期間，他包攬了各種計(jì)算機(jī)領(lǐng)域的獎(jiǎng)學(xué)金，包括IBM博士獎(jiǎng)學(xué)金、微軟學(xué)者獎(jiǎng)學(xué)金、騰訊人工智能獎(jiǎng)學(xué)金、百度獎(jiǎng)學(xué)金。

One More Thing

值得一提的是，劉鵬飛在和我們介紹這項(xiàng)工作時(shí)，直言“最初我們就沒(méi)打算拿去投稿”。

這是因?yàn)樗麄儾幌胱寱?huì)議論文的格式限制了構(gòu)思論文的想象力。

我們決定把這篇論文當(dāng)作一個(gè)故事來(lái)講，并給“讀者”一種看電影的體驗(yàn)。

這也是為什么我們?cè)诘谌?yè)，設(shè)置了一個(gè)“觀(guān)影模式“的全景圖。

就是為了帶著大家去了解NLP發(fā)展的歷史，以及我們所展望的未來(lái)是怎樣的，讓每一個(gè)研究者都能有一定的代入感，感受到自己去帶領(lǐng)著預(yù)訓(xùn)練語(yǔ)言模型們(PLMs)通過(guò)礦山尋寶走向更好明天的一個(gè)過(guò)程。

論文結(jié)尾，還藏了一些驚喜彩蛋。

比如PLMs主題表情包：

還有結(jié)尾的插畫(huà)：

這么看，100多頁(yè)的論文讀起來(lái)也不會(huì)累了~

論文地址：
https://arxiv.org/abs/2206.11147