速度×6，模型縮小20倍：用華為&華科的TinyBERT做搜索，性能達(dá)BERT 90%
原作：Jack Pertschuk
魚羊 編譯整理
量子位 報(bào)道 | 公眾號 QbitAI
在各大NLP榜單大殺四方的BERT，自打正式加入搜索引擎中，用戶搜索體驗(yàn)確實(shí)更絲滑了。
不過，強(qiáng)大往往也意味著復(fù)雜。
BERT對算力、內(nèi)存要求很高，為了使其順利應(yīng)對成百萬次的搜索，谷歌不得不搭建起專門的Cloud TPU來滿足其計(jì)算量。
那么，問題來了。不像谷歌那樣財(cái)大氣粗，就用不上BERT搜索了唄？
不知道你是否聽說過，華為諾亞方舟實(shí)驗(yàn)室和華中科技大學(xué)聯(lián)手打造的TinyBERT？
現(xiàn)在，就有人用這個(gè)Transformer蒸餾方法，讓BERT搜索變快6倍，模型大小則只有原來的1/20。
TinyBERT搜索
首先，用微軟的MS Marco訓(xùn)練三元組，在PyTorch中訓(xùn)練一個(gè)基于BERT的教師網(wǎng)絡(luò)。
注：MS Marco：微軟機(jī)器閱讀理解數(shù)據(jù)集，由10萬個(gè)問答組成
然后，讓教師網(wǎng)絡(luò)訓(xùn)練一個(gè)較小的學(xué)生BERT網(wǎng)絡(luò)，這個(gè)學(xué)生網(wǎng)絡(luò)只有4個(gè)隱藏層，而非標(biāo)準(zhǔn)的12層。
每一層的大小僅為312，以使模型更為輕巧。
在整個(gè)模型的最后，采用前饋二進(jìn)制分類層來生成得分，進(jìn)行搜索排名。
模型的具體參數(shù)如下，加粗部分是與標(biāo)準(zhǔn)BERT不同的部分。
那么，用TinyBERT來做搜索，效果如何呢？
作者用MS Marco數(shù)據(jù)集對其進(jìn)行檢驗(yàn)。這一數(shù)據(jù)集采集自Bing的實(shí)際使用情況，是最大的公共搜索引擎使用情況數(shù)據(jù)集。
雖然在搜索效果的改進(jìn)上，TinyBERT的性能只達(dá)到了BERT的90%，但速度提升了5倍，并且模型大小僅為BERT的1/20。
谷歌：用BERT做搜索
2019年10月底，谷歌將BERT加入到他們的搜索引擎當(dāng)中。
谷歌搜索副總裁Pandu Nayak表示：
對于比較長、會(huì)話性比較強(qiáng)的查詢，或者在“for”、“to”這樣的介詞比較重要的語句中，使用了BERT的搜索引擎能夠更好地理解查詢中單詞的上下文。
比如，當(dāng)輸入“2019 brazil traveler to usa need a visa”（2019年前往美國的巴西旅行者需要簽證）這樣一條查詢語句時(shí)，“to”這個(gè)詞起到了關(guān)鍵的聯(lián)系作用（巴西人→美國）。
BERT未加入前，搜索引擎的算法無法理解這種關(guān)聯(lián)，因此返回了有關(guān)前往巴西的美國公民（美國人→巴西）的結(jié)果。
而有了BERT，搜索引擎就能把握住其中細(xì)微而關(guān)鍵的差別了。
TinyBERT
而針對BERT這樣的龐大模型難以部署到算力、內(nèi)存有限的設(shè)備中的問題，華為諾亞方舟實(shí)驗(yàn)室和華中科技大學(xué)合作開源了TinyBERT。
應(yīng)用知識蒸餾（knowledge distillation，KD）的方法，大型教師模型BERT中編碼的大量知識，能被很好地遷移到小型學(xué)生模型TinyBERT中。
研究人員還提出了一種專門用于TinyBERT的兩段式學(xué)習(xí)框架，分別在預(yù)訓(xùn)練階段和特定任務(wù)學(xué)習(xí)階段進(jìn)行transformer蒸餾。
這樣，就能確保TinyBERT可以獲取教師模型在通用和特定任務(wù)知識上的經(jīng)驗(yàn)。
在GLUE基準(zhǔn)上，TinyBERT的性能與BERT相當(dāng)，僅下降了3個(gè)百分點(diǎn)。
并且，模型大小不到不到BERT的1/7，推理速度是BERT的9.4倍。
傳送門
博客：https://towardsdatascience.com/tinybert-for-search-10x-faster-and-20x-smaller-than-bert-74cd1b6b5aec
TinyBERT論文：https://arxiv.org/abs/1909.10351
TinyBERT開源地址：https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/TinyBERT
— 完 —
相關(guān)閱讀
25萬！問界拿掉激光雷達(dá)，同日比亞迪成功「會(huì)師」華為！
比亞迪確認(rèn)華為智駕上車方程豹，雙方聯(lián)合開發(fā)
站5g封面.png)
