華人斬獲最佳Demo論文，Bengio獲時(shí)間檢驗(yàn)獎(jiǎng)，最佳論文突破NLP傳統(tǒng)測(cè)試方法 | ACL 2020

蕭簫 2020-07-09 19:31:37 來(lái)源：量子位

蕭簫 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

NLP領(lǐng)域頂會(huì)ACL 2020頒獎(jiǎng)剛剛結(jié)束，今年的最佳論文獎(jiǎng)也塵埃落定。

在昨天的議程中，共頒布了最佳論文獎(jiǎng)、最佳Demo論文獎(jiǎng)、最佳主題論文獎(jiǎng)三大獎(jiǎng)項(xiàng)。

從今年投稿數(shù)量上來(lái)看，中美依舊領(lǐng)跑NLP領(lǐng)域，其中中國(guó)的論文數(shù)量還要更多一些。

△?今年論文投稿數(shù)量

這次的最佳論文獎(jiǎng)被微軟一舉奪下，從論文內(nèi)容上來(lái)看，的確值得仔細(xì)研讀。

最佳論文突破NLP傳統(tǒng)測(cè)試方法

這屆ACL的最佳論文是《Beyond Accuracy: Behavioral Testing of NLP Models with CheckList》。（文末附論文鏈接）

這篇論文提出了一種全新的NLP模型測(cè)試方法CheckList。

與之前提出的測(cè)試方法相比，它具有兩點(diǎn)突出的特性：與任務(wù)無(wú)關(guān)、快速生成大量不同測(cè)試案例。

這一測(cè)試方法顛覆了之前NLP模型普遍采用的留出法（held-out）測(cè)試方法，相較而言，后者通常會(huì)高估NLP的性能。

經(jīng)過(guò)測(cè)試，使用CheckList進(jìn)行測(cè)試的NLP模型創(chuàng)建了比未使用CheckList的模型2倍的測(cè)試數(shù)量，發(fā)現(xiàn)了比平時(shí)測(cè)試多出3倍的bug量。

這種測(cè)試方法的提出，對(duì)于完善各種NLP模型具有很好的效果。

而在今年的會(huì)議上，來(lái)自微軟的論文第一作者Marco Tulio Ribeiro，對(duì)CheckList的測(cè)試方法和原理進(jìn)行了清晰簡(jiǎn)潔的解析。

△?生動(dòng)的PPT解析

目前已有最佳論文解析的高清錄像，對(duì)這篇論文感興趣的小伙伴，可以一睹為快（文末附視頻鏈接）。

順帶一提，論文的二作是華人女博士吳彤霜，來(lái)自華盛頓大學(xué)，本科于香港科技大學(xué)完成學(xué)士學(xué)位，專注于交互式機(jī)器學(xué)習(xí)、人機(jī)交互和可視化方向的研究。

△?ACL 2020最佳論文獎(jiǎng)二作吳彤霜

華人斬獲最佳Demo論文獎(jiǎng)

除此之外，今年的華人團(tuán)隊(duì)還斬獲了最佳Demo論文獎(jiǎng)，華人一作Manling Li曾于國(guó)科大獲得碩士學(xué)位。

這篇論文的題目是：《GAIA: A Fine-grained Multimedia Knowledge Extraction System》

論文提出了首個(gè)全面、開(kāi)源的多媒體知識(shí)提取系統(tǒng)GAIA。（文末附GitHub開(kāi)源鏈接）

GAIA通過(guò)各種途徑來(lái)源獲取非結(jié)構(gòu)化、異構(gòu)的多媒體數(shù)據(jù)流，并對(duì)這些輸入進(jìn)行處理，創(chuàng)建了一個(gè)結(jié)構(gòu)化的知識(shí)庫(kù)。

它能夠?qū)?fù)雜圖形進(jìn)行無(wú)縫搜索，且能檢索包括文本、圖像和視頻在內(nèi)的多媒體數(shù)據(jù)。

在最近的NIST TAC SM-KBP2019評(píng)估中，這個(gè)提取系統(tǒng)表現(xiàn)最優(yōu)。

△?ACL 2020最佳Demo論文獎(jiǎng)一作Manling Li

最佳主題論文獎(jiǎng)

除此之外，ACL 2020還評(píng)選出了今年的最佳主題論文獎(jiǎng)，題目是《Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data》。

這篇論文提出了一種理論，基于ACL 2020的主題“Taking Stock of Where We’ve Been and Where We’re Going”下，認(rèn)為清晰地理解“形式”與“意義”的差異，有助于引導(dǎo)該領(lǐng)域在自然語(yǔ)言理解層面上進(jìn)行更科學(xué)的發(fā)展。

除最佳論文獎(jiǎng)等相關(guān)獎(jiǎng)項(xiàng)外，ACL 2020前天也公布了終身成就獎(jiǎng)、時(shí)間檢驗(yàn)獎(jiǎng)和杰出服務(wù)獎(jiǎng)，機(jī)器學(xué)習(xí)知名學(xué)者Yoshua Bengio也在這次的時(shí)間檢驗(yàn)獎(jiǎng)作者名單中。

Bengio獲時(shí)間檢驗(yàn)獎(jiǎng)

ACL 2020的時(shí)間檢驗(yàn)獎(jiǎng)共4篇，2篇頒給了發(fā)表自1995年的經(jīng)典論文，另外2篇?jiǎng)t是發(fā)表自2010年的論文。

第一篇是1995年在CL上發(fā)表的文章：

這是計(jì)算語(yǔ)篇分析（computational discourse）領(lǐng)域中最重要的論文之一，彰顯了「語(yǔ)言學(xué)」在「計(jì)算語(yǔ)言學(xué)」中的力量。

即使目前的語(yǔ)言處理方法已從基于邏輯的方法轉(zhuǎn)向基于統(tǒng)計(jì)學(xué)的深度學(xué)習(xí)，但這篇論文中所提到的理論至今仍廣受推崇。

第二篇是1995年發(fā)表于ACL的論文：

這篇論文展示了數(shù)據(jù)驅(qū)動(dòng)在NLP領(lǐng)域的力量，是「語(yǔ)言學(xué)假說(shuō)與無(wú)監(jiān)督學(xué)習(xí)相結(jié)合」的具有開(kāi)辟性的工作。

其在領(lǐng)域內(nèi)提出的問(wèn)題至今仍然在被研究：監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)之間的差異，以及數(shù)據(jù)標(biāo)記所需花費(fèi)的成本。

第三篇論文是2010年發(fā)表在CL上的論文：

這篇論文提出了自監(jiān)督預(yù)訓(xùn)練的方法（像BERT、word2vec中的應(yīng)用），提升了計(jì)算語(yǔ)義學(xué)、語(yǔ)言學(xué)理論和認(rèn)知模型的關(guān)聯(lián)性。

第四篇論文于2010年發(fā)表在ACL上：

作為學(xué)術(shù)界里程碑式的著作，這篇論文首次將向量表示法應(yīng)用于NLP方向，其倡導(dǎo)理論如今仍然主導(dǎo)著NLP領(lǐng)域。這篇論文的作者之一，就是Yoshua Bengio。

△?Yoshua Bengio

對(duì)終身成就獎(jiǎng)和杰出服務(wù)獎(jiǎng)感興趣的小伙伴，可以戳下方傳送門查看相關(guān)報(bào)道。

傳送門

最佳論文獎(jiǎng)：

https://www.aclweb.org/anthology/2020.acl-main.442.pdf

最佳Demo論文獎(jiǎng)：

https://www.aclweb.org/anthology/2020.acl-demos.11.pdf

GAIA代碼傳送門：

https://github.com/GAIA-AIDA

最佳主題論文獎(jiǎng)：

https://www.aclweb.org/anthology/2020.acl-main.463.pdf

最佳論文視頻解析：

https://slideslive.com/38929272/beyond-accuracy-behavioral-testing-of-nlp-models-with-checklist

ACL 2020終身成就獎(jiǎng)、杰出服務(wù)獎(jiǎng)、時(shí)間檢驗(yàn)獎(jiǎng)相關(guān)報(bào)道：

https://mp.weixin.qq.com/s/8ju0eVuJOurBphly9sSPLQ