速度×6，模型縮小20倍：用華為&華科的TinyBERT做搜索，性能達BERT 90%
原作：Jack Pertschuk
魚羊 編譯整理
量子位 報道 | 公眾號 QbitAI
在各大NLP榜單大殺四方的BERT，自打正式加入搜索引擎中，用戶搜索體驗確實更絲滑了。
不過，強大往往也意味著復雜。
BERT對算力、內(nèi)存要求很高，為了使其順利應對成百萬次的搜索，谷歌不得不搭建起專門的Cloud TPU來滿足其計算量。
那么，問題來了。不像谷歌那樣財大氣粗，就用不上BERT搜索了唄？
不知道你是否聽說過，華為諾亞方舟實驗室和華中科技大學聯(lián)手打造的TinyBERT？
現(xiàn)在，就有人用這個Transformer蒸餾方法，讓BERT搜索變快6倍，模型大小則只有原來的1/20。
TinyBERT搜索
首先，用微軟的MS Marco訓練三元組，在PyTorch中訓練一個基于BERT的教師網(wǎng)絡(luò)。
注：MS Marco：微軟機器閱讀理解數(shù)據(jù)集，由10萬個問答組成
然后，讓教師網(wǎng)絡(luò)訓練一個較小的學生BERT網(wǎng)絡(luò)，這個學生網(wǎng)絡(luò)只有4個隱藏層，而非標準的12層。
每一層的大小僅為312，以使模型更為輕巧。
在整個模型的最后，采用前饋二進制分類層來生成得分，進行搜索排名。
模型的具體參數(shù)如下，加粗部分是與標準BERT不同的部分。
那么，用TinyBERT來做搜索，效果如何呢？
作者用MS Marco數(shù)據(jù)集對其進行檢驗。這一數(shù)據(jù)集采集自Bing的實際使用情況，是最大的公共搜索引擎使用情況數(shù)據(jù)集。
雖然在搜索效果的改進上，TinyBERT的性能只達到了BERT的90%，但速度提升了5倍，并且模型大小僅為BERT的1/20。
谷歌：用BERT做搜索
2019年10月底，谷歌將BERT加入到他們的搜索引擎當中。
谷歌搜索副總裁Pandu Nayak表示：
對于比較長、會話性比較強的查詢，或者在“for”、“to”這樣的介詞比較重要的語句中，使用了BERT的搜索引擎能夠更好地理解查詢中單詞的上下文。
比如，當輸入“2019 brazil traveler to usa need a visa”（2019年前往美國的巴西旅行者需要簽證）這樣一條查詢語句時，“to”這個詞起到了關(guān)鍵的聯(lián)系作用（巴西人→美國）。
BERT未加入前，搜索引擎的算法無法理解這種關(guān)聯(lián)，因此返回了有關(guān)前往巴西的美國公民（美國人→巴西）的結(jié)果。
而有了BERT，搜索引擎就能把握住其中細微而關(guān)鍵的差別了。
TinyBERT
而針對BERT這樣的龐大模型難以部署到算力、內(nèi)存有限的設(shè)備中的問題，華為諾亞方舟實驗室和華中科技大學合作開源了TinyBERT。
應用知識蒸餾（knowledge distillation，KD）的方法，大型教師模型BERT中編碼的大量知識，能被很好地遷移到小型學生模型TinyBERT中。
研究人員還提出了一種專門用于TinyBERT的兩段式學習框架，分別在預訓練階段和特定任務(wù)學習階段進行transformer蒸餾。
這樣，就能確保TinyBERT可以獲取教師模型在通用和特定任務(wù)知識上的經(jīng)驗。
在GLUE基準上，TinyBERT的性能與BERT相當，僅下降了3個百分點。
并且，模型大小不到不到BERT的1/7，推理速度是BERT的9.4倍。
傳送門
博客：https://towardsdatascience.com/tinybert-for-search-10x-faster-and-20x-smaller-than-bert-74cd1b6b5aec
TinyBERT論文：https://arxiv.org/abs/1909.10351
TinyBERT開源地址：https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/TinyBERT
— 完 —
相關(guān)閱讀
鴻蒙終端數(shù)量突破千萬后，華為發(fā)布億元級應用開發(fā)激勵計劃
提供現(xiàn)金激勵，鼓勵開發(fā)者參與鴻蒙應用、游戲、元服務(wù)開發(fā)
華為確認53歲高管丁耘驟逝：執(zhí)掌最大營收業(yè)務(wù)，東南大學畢業(yè)，在職已超26年
“他把華為核心網(wǎng)設(shè)備帶到世界第一”
