爆火論文“14行代碼打敗BERT”出現(xiàn)反轉(zhuǎn)！改掉bug性能秒變最差
網(wǎng)友：srds，方法本身很有創(chuàng)造性
豐色 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
50年前的kNN算法，只用14行代碼在文本分類上超越風(fēng)頭正盛的Transformer，包括BERT——
這個(gè)來自ACL Finding的成果，一發(fā)布就火爆學(xué)術(shù)圈，讓人重新思考還有多少舊方法可以用于今天的機(jī)器學(xué)習(xí)任務(wù)。
有人盛贊它的創(chuàng)意性超過95%的同會(huì)論文，但是卻沒有獲獎(jiǎng)實(shí)在令人想不通。
短短14行代碼，完全打開了大家的思路。
然而，才不到幾天的時(shí)間，就有人發(fā)現(xiàn)：
這一切好像都是個(gè)誤會(huì)。
BERT沒有被打敗，代碼有bug，結(jié)果有問題！
這是，反轉(zhuǎn)了？？
重測(cè)后性能從SOTA變最差
先再來簡(jiǎn)單回顧一下這篇論文的主要背景和思想：
它講的是如今由于精度高被經(jīng)常用于文本分類的深度神經(jīng)網(wǎng)絡(luò)模型（DNN），因?yàn)槠溆?jì)算密集型的特性，需要數(shù)百萬個(gè)參數(shù)和大量標(biāo)記數(shù)據(jù)才能保證效果，這就導(dǎo)致它用起來或者做優(yōu)化，以及轉(zhuǎn)移到分布外數(shù)據(jù)等情況時(shí)都很費(fèi)錢。
在此，來自滑鐵盧大學(xué)和AFAIK機(jī)構(gòu)的研究人員，就“突發(fā)奇想”提出了一種不需要參數(shù)的替代方案：
將簡(jiǎn)單的壓縮算法比如gzip和k近鄰分類算法進(jìn)行結(jié)合來做這件事（用到了歸一化壓縮距離NCD）。
結(jié)果，這種簡(jiǎn)單的方案在沒有任何訓(xùn)練參數(shù)的情況下，效果居然很不錯(cuò)——
在7個(gè)分布內(nèi)數(shù)據(jù)集上有6個(gè)結(jié)果與各類DNN相媲美，在分布外數(shù)據(jù)集上的結(jié)果則接連5把勝出，把BERT都給打敗了。
而且它在少樣本情況下也好使，相反此時(shí)的DNN卻因?yàn)闃?biāo)記數(shù)據(jù)太少根本無法進(jìn)行有效訓(xùn)練。
來自于美國的機(jī)器學(xué)習(xí)研究員Ken Schutte（博士畢業(yè)于MIT電氣工程與計(jì)算機(jī)科學(xué)），在看到這篇論文后非常感興趣，并冒出了一些新點(diǎn)子。
于是他并決定復(fù)現(xiàn)一下。
結(jié)果，就出現(xiàn)了蹊蹺：
我發(fā)現(xiàn)（當(dāng)然我也不敢保證），方法中的kNN代碼中似乎存在一個(gè)錯(cuò)誤（也可能是無意的），導(dǎo)致最終測(cè)試結(jié)果的準(zhǔn)確度指標(biāo)其實(shí)都全部高于了預(yù)期。
“太長不看”概括一下就是：結(jié)果用的是top-2精度，而不是本應(yīng)該的kNN(k=2) 精度。
也就是說，它的效果可能并沒有那么強(qiáng)。
具體而言，Ken指出，在論文的表5中，結(jié)果顯示該方法在OOD數(shù)據(jù)集上打敗了所有其他基于神經(jīng)網(wǎng)絡(luò)的方法：
而他對(duì)前四個(gè)數(shù)據(jù)集都重新進(jìn)行了一遍測(cè)試（使用kNN(k=2) 精度），結(jié)果有很大出入，根本無法打敗那些基準(zhǔn)模型，甚至從性能最佳變?yōu)樾阅茏畈?/strong>。（最后一個(gè)數(shù)據(jù)集因?yàn)樘驥en還沒嘗試）
下面是詳細(xì)解釋。
在論文中，作者在使用kNN分類器時(shí)，都是取值k=2。
（kNN是一種有監(jiān)督算法，通過“有標(biāo)簽”的樣本最終確定未知樣本的類別，該算法主要參數(shù)就是k值的選擇，k值越大，分類效果越穩(wěn)定，但計(jì)算量也越大）
Ken認(rèn)為，這個(gè)選擇有點(diǎn)沒必要，不會(huì)給分類器增加太多信息，取1就行。
而當(dāng)取2時(shí)，在訓(xùn)練集中搜索出的兩個(gè)近鄰點(diǎn)類別標(biāo)簽不一致的情況下，比如一個(gè)是正類，一個(gè)是負(fù)類，那么就產(chǎn)生了平局情況，我們需要進(jìn)一步確定唯一正確的那個(gè)點(diǎn)。
在這個(gè)確定的過程中，論文中的源碼（位于experiments.py文件中的calc_acc方法中）出現(xiàn)了問題：
簡(jiǎn)單來說就是，這段代碼的做法其實(shí)是只要2個(gè)近鄰點(diǎn)標(biāo)簽中有一個(gè)與中心點(diǎn)真實(shí)類別一致（簡(jiǎn)而言之，有一個(gè)對(duì)就算對(duì)），就判斷為正確，這也就相當(dāng)于Top-2精度。
但標(biāo)準(zhǔn)的KNN算法，會(huì)使用其他打破平局的策略，比如距離近的類別優(yōu)先，或隨機(jī)選取來確定，也就是采用標(biāo)準(zhǔn)的kNN(k=2) 精度來評(píng)估結(jié)果，“更嚴(yán)格”。
這就導(dǎo)致在k=2時(shí)原方法計(jì)算的準(zhǔn)確率其實(shí)是高于標(biāo)準(zhǔn)算法的，也就是最終效果并沒有現(xiàn)在我們看上去的那么牛。
這不，Ken重新寫了兩種打破平局的策略（一個(gè)是隨機(jī)選擇，一個(gè)是遞減k），重新計(jì)算了各數(shù)據(jù)集下模型的準(zhǔn)確率，結(jié)果均出現(xiàn)了不同程度的下滑：
當(dāng)然，我們可以發(fā)現(xiàn)，如果還是按照top-2算，Ken復(fù)現(xiàn)的結(jié)果基本和原論文沒有差別，側(cè)面證明Ken的發(fā)現(xiàn)是有效的。
網(wǎng)友：雖然但是，不影響方法本身的創(chuàng)新性
這個(gè)消息出來之后，網(wǎng)友是怎么看的呢？
有意思的是，大家都覺得Ken的分析很有道理，但這不影響該方法本身的創(chuàng)新性。
盡管沒有打敗BERT，但其思想還是令人印象深刻。
作者這個(gè)策略也沒有很不合理啦，最重要的是后面還會(huì)有更多探索這個(gè)研究方向的論文出來。
GoogleAI的研究員Lucas Beye也表達(dá)了類似的意思。
值得一提的是，在Ken之后，斯坦福博士Yann Dubois又發(fā)現(xiàn)該論文的問題還不止如此——
其訓(xùn)練測(cè)試集也重疊了。
比如DengueFilipino的訓(xùn)練集和測(cè)試集完全一樣，而KirundiNews的重復(fù)率也高達(dá)90%。
當(dāng)然，一如既往，由于該方法實(shí)在是太特別了，盡管網(wǎng)友評(píng)論中也充斥著“wtf”這樣的聲音，但大部分人還是堅(jiān)決捍衛(wèi)它的重要貢獻(xiàn)，認(rèn)為問題不大，可能只是審查不到位等等。
這不，“你可以扼殺一篇論文，但你無法扼殺一個(gè)想法”的評(píng)論都出來了。
大家怎么看？這兩個(gè)bug影響你對(duì)這篇論文的看法嗎？
Ken原博：
https://kenschutte.com/gzip-knn-paper/
原論文：
https://aclanthology.org/2023.findings-acl.426/
參考鏈接：
https://twitter.com/yanndubs/status/1681325900170776578?s=20
相關(guān)閱讀
微信推出自研NLP大規(guī)模語言模型WeLM，現(xiàn)已開放API推動(dòng)應(yīng)用落地
NLP大模型迎來新選手，微信推出自研NLP大規(guī)模語言模型WeLM
給GPT-2加上“人類偏好”補(bǔ)丁，它說的話就越來越有人情味了丨代碼已開源
GPT-2文案工作室成立了，只要加65000個(gè)標(biāo)簽，甲方爸爸要啥寫啥（滑稽）
終于不瞎編了！AI學(xué)會(huì)了“谷歌一下”，回答問題正確率達(dá)90% | DeepMind
回答問題同時(shí)給出論據(jù)
