谷歌創(chuàng)造ImageNet1K新紀(jì)錄：性能不佳的微調(diào)模型不要扔，求一下平均權(quán)重就能提升性能
還不會(huì)增加推理時(shí)間&內(nèi)存開(kāi)銷(xiāo)
如何最大限度地提升模型精度？
最近，谷歌等機(jī)構(gòu)發(fā)現(xiàn)：
性能不好的微調(diào)模型先不要扔，求一下平均權(quán)重！
就能在不增加推理時(shí)間以及內(nèi)存開(kāi)銷(xiāo)的情況下，提高模型的準(zhǔn)確性和魯棒性。
比如，研究人員就使用該方法創(chuàng)造了ImageNet1K的新紀(jì)錄：90.94%。
將它擴(kuò)展到多個(gè)圖像分類(lèi)以及自然語(yǔ)言處理任務(wù)中，也能提高模型的分布外性能，并改善新下游任務(wù)的零樣本性能。
而這個(gè)方法還有一個(gè)有趣的名字，叫Module soup——
是不是讓人一下子就讓人聯(lián)想到了斐波那契湯的笑話？（昨天的湯+前天的湯=今天的新湯）
△ 知乎網(wǎng)友@hzwer，已授權(quán)
一共三種配方
回想一下在此之前，大家是如何給模型漲點(diǎn)的呢？
是不是先用各種超參數(shù)訓(xùn)練出多個(gè)微調(diào)模型，然后再挑出驗(yàn)證集上表現(xiàn)最好的那一個(gè)留下，其余丟掉？
由于神經(jīng)網(wǎng)絡(luò)是非線性的，在不同的loss basin中可能有許多解，因此Module soup這一采用保留所有微調(diào)模型的權(quán)重，對(duì)其進(jìn)行平均的方法就可以提高性能，還是讓人有點(diǎn)驚訝的。
不過(guò)，最近就已有研究發(fā)現(xiàn)，從相同的初始化配置中中獨(dú)立優(yōu)化的微調(diào)模型，位于相同的誤差范圍內(nèi)?（lie in the same basin of the error landscape）。
之前也有研究證明，沿單個(gè)訓(xùn)練軌跡進(jìn)行權(quán)重平均，可以提高隨機(jī)初始化訓(xùn)練模型的性能。
作者正是從這些結(jié)論中受到啟發(fā)。
Module soup一共有三種“配方”（實(shí)現(xiàn)）：統(tǒng)一湯（uniform soup）、貪婪湯（greedy soup）和學(xué)習(xí)湯（learned soup）。
其中greedy soup是最主要采用的實(shí)現(xiàn)，因?yàn)樗男阅鼙戎苯泳鶆虻仄骄袡?quán)重更高。
具體來(lái)說(shuō)，Greedy soup通過(guò)順序添加每個(gè)模型作為“湯”中的潛在成分構(gòu)建而成，并且只有在保持驗(yàn)證集上的性能有所提高時(shí)才將相應(yīng)模型保留在“湯”中。
排序按驗(yàn)證集精度的降序排列。
性能超越單個(gè)最佳微調(diào)模型
作者進(jìn)行了全面的微調(diào)實(shí)驗(yàn)來(lái)確定Module soup的有效性。
首先是微調(diào)CLIP和ALIGN，這兩個(gè)模型在圖像-文本對(duì)上進(jìn)行了對(duì)比損失預(yù)訓(xùn)練。
結(jié)果經(jīng)過(guò)module soup操作后，兩者在分布內(nèi)和自然分布轉(zhuǎn)移（distribution shifts）測(cè)試集上的表現(xiàn)都比最佳的單個(gè)微調(diào)模型性能更佳。
△ 左為CLIP，右為ALIGN
然后是在JFT數(shù)據(jù)集上預(yù)訓(xùn)練的ViT-G模型。
也就是它在ImageNet1K數(shù)據(jù)集實(shí)現(xiàn)了90.94%的精度，打破了此前CoAtNet保持的90.88%，同時(shí)在推理階段還減少了25%的FLOPs。
在圖像分類(lèi)任務(wù)以外，作者在NLP領(lǐng)域也對(duì)module soup進(jìn)行了驗(yàn)證。
下表是BERT和T5模型在GLUE benchmark的四個(gè)文本分類(lèi)任務(wù)上的結(jié)果：
可以發(fā)現(xiàn)，雖然改進(jìn)不如圖像分類(lèi)中的效果明顯，但在多數(shù)任務(wù)下，greedy soup都可以相較最好的單個(gè)模型提高性能。
當(dāng)然，作者也指出，module soup在適用性等方面存在局限，比如現(xiàn)在測(cè)試的都是在大型異構(gòu)數(shù)據(jù)集上預(yù)先訓(xùn)練的模型，在這些模型之外，效果并不是非常明顯。
最后，知乎網(wǎng)友@宮醬手藝人表示，其實(shí)這樣的模型參數(shù)平均是一個(gè)經(jīng)典trick，transformer原始論文就用了。
你發(fā)現(xiàn)了嗎？
論文地址：
https://arxiv.org/abs/2203.0548
知乎@宮醬手藝人、@hzwer回答（已授權(quán)）：https://www.zhihu.com/question/521497951
- 北大開(kāi)源最強(qiáng)aiXcoder-7B代碼大模型！聚焦真實(shí)開(kāi)發(fā)場(chǎng)景，專(zhuān)為企業(yè)私有部署設(shè)計(jì)2024-04-09
- 剛剛，圖靈獎(jiǎng)揭曉！史上首位數(shù)學(xué)和計(jì)算機(jī)最高獎(jiǎng)“雙料王”出現(xiàn)了2024-04-10
- 8.3K Stars!《多模態(tài)大語(yǔ)言模型綜述》重大升級(jí)2024-04-10
- 谷歌最強(qiáng)大模型免費(fèi)開(kāi)放了！長(zhǎng)音頻理解功能獨(dú)一份，100萬(wàn)上下文敞開(kāi)用2024-04-10
相關(guān)閱讀
歐盟針對(duì)美國(guó)科技巨頭列「清單」打壓：蘋(píng)果谷歌在列，防壟斷還要求共享數(shù)據(jù)
網(wǎng)友：保護(hù)主義行為
谷歌AI的芯片設(shè)計(jì)能力超過(guò)人類(lèi)？一位內(nèi)部研究員發(fā)出質(zhì)疑，結(jié)果“因言獲罪”遭解雇
研究來(lái)自Jeff Dean團(tuán)隊(duì)
果谷歌.jpg)
