国产冒白浆视频,抱着cao才爽免费视频,胸大美女又大又黄的网站,中文国产日韩欧美二视频,亚洲日本国产综合高清,又大又粗又硬又硬免费日批视频 ,国产二区不卡自拍,777免费人成影院,亚洲成AⅤ人网站,香蕉网站永久在线视频

教大模型自己跳過“無用”層，推理速度×3性能不變，谷歌MIT這個新方法火了

蕭簫 2022-07-25 09:39:06 來源：量子位

歸納翻譯QA三大任務(wù)都能hold住

蕭簫發(fā)自凹非寺
量子位 | 公眾號 QbitAI

大語言模型用著爽，但推理速度實在太慢了？

而且，增加模型體積，推理效果也并不一定就比之前更好。

為了解決這一問題，谷歌MIT的研究人員提出了一個新框架CALM，讓它自己來決定計算量。

如果CALM意識到某些層“可有可無”，那么它在計算時就會跳過這些層。

論文被po到網(wǎng)上后，立刻火了一波：

有網(wǎng)友表示，我們就是需要這樣更智能和自適應的模型，顯然CALM的解碼器已經(jīng)做到了：

直接用中間層輸出結(jié)果

CALM全稱Confident Adaptive Language Modeling，即置信自適應大語言模型。

這一模型基于Transformer架構(gòu)，為了加速它的計算，研究人員提出了一個名叫“提前退出”（early exiting）的方法，讓模型根據(jù)不同的輸入，動態(tài)決定要用多少層網(wǎng)絡(luò)來計算。

也就是說，在計算的過程中，模型不需要經(jīng)過每一層計算再輸出結(jié)果，而是能直接用中間層的特征輸出token，從而降低模型計算量。

所以，模型如何決定“退出”的時機呢？

這就需要訓練模型學會自己判斷了。

其中，Yfull是標準模型輸出的結(jié)果，Yearly是模型“提前退出”時輸出的結(jié)果。為了讓Yearly的效果更好，就需要盡可能讓它與Yfull保持一致。

當然，不同的任務(wù)對于文本輸出一致性也有不同的要求，例如對生成結(jié)果要求沒那么嚴格（可以生成更多樣的語句）的任務(wù)，對于Yfull和Yearly的一致性要求就沒那么高。

因此作者們也在論文中給出了兩個不同的公式，可根據(jù)實際情況選用：

在實際操作上，論文通過設(shè)置一個局部的token置信度，來檢查其對整個生成序列的影響。

模型在解碼過程中，會計算每一層的置信度c，并將它與達到“提前退出”的閾值λ相比，如果c大于λ，則模型“提前退出”。

所以，這樣的模型實際測試效果究竟如何？

歸納翻譯QA任務(wù)表現(xiàn)都不錯

論文在CNN/DM、WMT和SQuAD三個數(shù)據(jù)集上進行了測試。

其中，CNN/DM是一個新聞文章數(shù)據(jù)集，需要輸出一個幾句話概括文章的結(jié)果；WMT15 EN-FR是一個機器翻譯數(shù)據(jù)集，主要是法譯英句子的結(jié)果；Open-book SQUAD 1.1則是一個根據(jù)維基百科提問的QA數(shù)據(jù)集。