搜狗開(kāi)源最新NLP研究成果，打造業(yè)內(nèi)最全機(jī)器閱讀理解工具包SMRC

曉查 發(fā)自 凹非寺

量子位 出品 | 公眾號(hào) QbitAI

上周，搜狗在GitHub低調(diào)發(fā)布了機(jī)器閱讀理解工具包SMRC（Sogou Machine Reading Comprehension）。

這是目前業(yè)內(nèi)最全的TensorFlow版本的閱讀理解工具集合，從相關(guān)數(shù)據(jù)集的下載到最后模型的訓(xùn)練和測(cè)試，一應(yīng)俱全。

搜狗此次開(kāi)源的目的也是為了幫助NLP從業(yè)人員快速實(shí)現(xiàn)已有的機(jī)器理解模型，從而更高效地開(kāi)發(fā)新模型。

近兩年來(lái)，NLP領(lǐng)域取得了許多突破性進(jìn)展。但是在機(jī)器閱讀理解方面開(kāi)源的資源還是非常少。目前在CoQA上“打榜”的選手中，只有搜狗和微軟公開(kāi)了源代碼。

搜狗開(kāi)源SMRC恰逢其時(shí)，填補(bǔ)了該領(lǐng)域稀缺的開(kāi)源資源。SMRC發(fā)布僅短短一周，已經(jīng)成為該研究方向最熱門(mén)的開(kāi)源項(xiàng)目之一。

什么是SMRC？

說(shuō)到SMRC，就不得不提近年來(lái)在NLP領(lǐng)域內(nèi)的熱門(mén)問(wèn)題——機(jī)器閱讀理解。它的目標(biāo)是根據(jù)給定的問(wèn)題和文章，在文章中抽取或改寫(xiě)文字片段作為問(wèn)題的答案。

搜狗將機(jī)器閱讀理解任務(wù)的流水線分解為4個(gè)步驟：數(shù)據(jù)集讀取、預(yù)處理、模型構(gòu)建、訓(xùn)練和評(píng)估，對(duì)每步都進(jìn)行了抽象和模塊化，以簡(jiǎn)潔的接口呈現(xiàn)。

在搜狗開(kāi)源的SMRC工具包中，以上每個(gè)步驟都可以單獨(dú)拿來(lái)使用，嵌入開(kāi)發(fā)者自己的流程中，保證了整套工具的易用性和可擴(kuò)展性。

同時(shí)，SMRC對(duì)已發(fā)表的多種機(jī)器閱讀理解數(shù)據(jù)集、模型進(jìn)行了整合或復(fù)現(xiàn)。

代碼主要分為以下幾個(gè)模塊：

1、數(shù)據(jù)集讀取模塊（dataset_reader）

該模塊集成了對(duì)SQuAD 1.0/2.0、CoQA以及中文數(shù)據(jù)集CMRC的讀取和預(yù)處理功能。

2、數(shù)據(jù)預(yù)處理（data、utils）

data部分包含詞表構(gòu)建模塊和負(fù)責(zé)特征變換和數(shù)據(jù)流的batch生成器。utils用于提取語(yǔ)言學(xué)特征。

3、模型構(gòu)建（nn、models）

nn（神經(jīng)網(wǎng)絡(luò)）由機(jī)器閱讀理解中的常用組件組成，可以快速構(gòu)建和訓(xùn)練原型模型，避免部分重復(fù)工作。model中集成了常見(jiàn)的機(jī)器理解模型，如BiDAF、DrQA、FusionNet、QANet等等。

4、模型訓(xùn)練與評(píng)估（examples）

這一部分是運(yùn)行不同模型的示例。

SMRC代碼安裝使用十分方便。搜狗官方文檔以SQuAD 1.0數(shù)據(jù)集、DrQA模型為例，只需二十幾行代碼即可實(shí)現(xiàn)一個(gè)主流機(jī)器閱讀模型的訓(xùn)練和測(cè)試。

既然從模型到數(shù)據(jù)集得資源如此豐富，為何搜狗還要對(duì)它們進(jìn)行整合？

這是由于部分機(jī)器理解模型沒(méi)有官方實(shí)現(xiàn)版本，而其他開(kāi)源模型由于框架不同，使得開(kāi)發(fā)者在不同平臺(tái)上需要自己理解、改進(jìn)并重現(xiàn)，大大降低了開(kāi)發(fā)效率。

針對(duì)這些問(wèn)題，搜狗開(kāi)源了 “閱讀理解工具集合”。但SMRC并不是簡(jiǎn)單的整合，它還包含了搜狗近年來(lái)的NLP領(lǐng)域研究成果。

SMRC中的搜狗技術(shù)

搜狗CEO王小川認(rèn)為搜索的未來(lái)是問(wèn)答，而機(jī)器閱讀理解是現(xiàn)今問(wèn)答技術(shù)發(fā)展的核心之一。

由于搜索、輸入法等核心業(yè)務(wù)的驅(qū)動(dòng)，搜狗在NLP尤其是機(jī)器閱讀理解領(lǐng)域有著深厚的技術(shù)積淀。

可以說(shuō)，SMRC項(xiàng)目中凝結(jié)了搜狗多年來(lái)最先進(jìn)的研究成果。

今年1月，搜狗憑借BERT+Answer Verification(單一模型)登上CoQA榜單第一名，超過(guò)了國(guó)內(nèi)外眾多知名研究機(jī)構(gòu)和高校，如微軟、訊飛、清華、復(fù)旦，斯坦福等等。

搜狗在理論研究方向腳步一直不停。今年4月，搜狗與中科院自動(dòng)化所合作，在信息檢索領(lǐng)域的國(guó)際頂級(jí)學(xué)術(shù)會(huì)議SIGIR 2019上發(fā)表論文《基于文檔門(mén)控制器的開(kāi)放域問(wèn)答》，提出了一種新的閱讀理解算法。

所謂開(kāi)放域問(wèn)答（open-domain question answering），是指在給定任意類(lèi)型的問(wèn)題后，從任意資源中取得答案。越來(lái)越多的開(kāi)放域問(wèn)答方法采用機(jī)器閱讀理解技術(shù)生成答案。

然而，傳統(tǒng)基于機(jī)器閱讀理解的開(kāi)放域問(wèn)答技術(shù)存在數(shù)據(jù)噪聲大、答案概率偏置等問(wèn)題，使最后獲得的答案效果欠佳。

為了解決以上問(wèn)題，搜狗在傳統(tǒng)模型基礎(chǔ)上，引入了文檔門(mén)控制器（Document Gate）來(lái)控制最終答案的輸出，將文檔選擇信息引入到最終的結(jié)果中去。

此外，搜狗還使用了基于自舉法（bootstrapping）的弱監(jiān)督數(shù)據(jù)生成，解決傳統(tǒng)弱監(jiān)督數(shù)據(jù)中存在的噪聲較大的問(wèn)題。

搜狗不僅有理論研究文章發(fā)布，也非常重視技術(shù)落地化，過(guò)去的研究成果已經(jīng)滲入到搜索產(chǎn)品中，不知不覺(jué)中為用戶(hù)服務(wù)。

當(dāng)我們?cè)谑褂盟压肪W(wǎng)頁(yè)搜索時(shí)，當(dāng)用戶(hù)輸入的搜索關(guān)鍵字是一個(gè)問(wèn)題時(shí)，尤其是在醫(yī)療和法律等大眾關(guān)心的問(wèn)題，智能問(wèn)答系統(tǒng)會(huì)嘗試從搜索結(jié)果的網(wǎng)頁(yè)中尋找答案并以最高優(yōu)先級(jí)呈現(xiàn)給用戶(hù)。

與行業(yè)分享成果

前面我們提到的CoQA挑戰(zhàn)，現(xiàn)在已經(jīng)有29家公司與機(jī)構(gòu)提交了成績(jī)，但是其中只有3家開(kāi)源了自己算法，分別是微軟、艾倫研究所和搜狗。

而SDNet、FlowQA只針對(duì)模型本身開(kāi)源，并包含一些數(shù)據(jù)預(yù)處理工具，搜狗開(kāi)源的是機(jī)器閱讀理解一整套完整解決方案。

搜狗不吝分享最新的研究成果對(duì)學(xué)術(shù)界和工業(yè)界來(lái)說(shuō)都是一個(gè)福音。

如果你是從事NLP研究的高校學(xué)生，那么SMRC可以幫助你快速將自己的模型與其他技術(shù)結(jié)合，這個(gè)過(guò)程中只需一個(gè)接口，大大降低了有志從事NLP學(xué)生的使用門(mén)檻，也能為研究人員減少重復(fù)勞動(dòng)， 加速相關(guān)學(xué)術(shù)研究。

而如果你是一名工業(yè)界人員，拿來(lái)即用的SMRC能幫助你將搜狗的研究成果整合到自己產(chǎn)品方案中。

可以說(shuō)，開(kāi)源SMRC解決了開(kāi)發(fā)者從數(shù)據(jù)集處理到模型訓(xùn)練等一系列痛點(diǎn)，是一項(xiàng)造福整個(gè)機(jī)器理解研究領(lǐng)域的大事。而對(duì)于普通大眾來(lái)說(shuō)，將來(lái)可能會(huì)看到更多的智能對(duì)話系統(tǒng)、解題應(yīng)用，而背后或許就有搜狗開(kāi)源技術(shù)默默的支持。

最后，附上SMRC的開(kāi)源地址：

https://github.com/sogou/SMRCToolkit

— 完 —