MIT博士生、北大校友，利用自監(jiān)督算法，解決了數(shù)據(jù)集中這一常見(jiàn)的“難題”
解決數(shù)據(jù)集樣本“不均衡”問(wèn)題
蕭簫 轉(zhuǎn)載整理自 楊宇喆
量子位 報(bào)道 | 公眾號(hào) QbitAI
訓(xùn)練模型時(shí)，你是否也遭遇過(guò)這樣的“尷尬”時(shí)刻：
好不容易找到了自己想要的數(shù)據(jù)集，結(jié)果點(diǎn)進(jìn)去一看，大部分樣本都是一類(lèi)物體。（例如，數(shù)據(jù)集標(biāo)簽「動(dòng)物」，結(jié)果80%的樣本都是「貓」）
用上面這個(gè)數(shù)據(jù)集訓(xùn)練的動(dòng)物檢測(cè)模型，可能只能識(shí)別「貓」。
這類(lèi)數(shù)據(jù)不均衡（某一標(biāo)簽數(shù)量太多，其余標(biāo)簽數(shù)量太少）的問(wèn)題，在機(jī)器學(xué)習(xí)中被稱(chēng)為“長(zhǎng)尾問(wèn)題”。
這個(gè)問(wèn)題導(dǎo)致，數(shù)據(jù)集中（尤其是大型數(shù)據(jù)集）樣本數(shù)量少的物體，泛化效果會(huì)非常差。
△像一條長(zhǎng)長(zhǎng)的尾巴
然而事實(shí)上，在一個(gè)數(shù)據(jù)集中，幾乎總有常見(jiàn)和不常見(jiàn)的類(lèi)別，其中不常見(jiàn)的類(lèi)別，又往往成為需要被識(shí)別的目標(biāo)。
例如，自動(dòng)駕駛感知模型中，就要求AI能提前預(yù)測(cè)可能違規(guī)的情形，并及時(shí)阻止。
然而在自動(dòng)駕駛數(shù)據(jù)集里，不可能全是肇禍、違規(guī)的場(chǎng)景（大部分場(chǎng)景還是安全的）。
那么，這些“不均衡”的數(shù)據(jù)集，就真的不能用了嗎？
來(lái)自MIT的兩名博士生楊宇喆和Zhi Xu，想到了一種新的解決方案，研究成果登上了NeurIPS 2020頂會(huì)。
一起來(lái)看看。
一些已有的解決辦法
事實(shí)上，此前為了解決“不均衡”數(shù)據(jù)集，研究者們已經(jīng)嘗試過(guò)多種方法。
僅僅是主流算法，就分為七種：
重采樣?（re-sampling）：分為對(duì)少樣本的過(guò)采樣、及多樣本的欠采樣，但這2種方法，都有欠缺的地方。其中，過(guò)采樣容易發(fā)生少樣本過(guò)擬合，無(wú)法學(xué)習(xí)更魯棒、易泛化的特征，在不平衡數(shù)據(jù)上表現(xiàn)較差；欠采樣會(huì)造成多樣本嚴(yán)重信息損失，導(dǎo)致發(fā)生欠擬合。
數(shù)據(jù)合成?（synthetic samples）：生成和少樣本相似的新數(shù)據(jù)。以SMOTE方法為例，對(duì)于任意選取的少類(lèi)樣本，它用K近鄰選取相似樣本，并通過(guò)對(duì)樣本線性插值得到新樣本。這里與mixup方法相似，因此，也有非均衡的mixup版本出現(xiàn)。
重加權(quán)?（re-weighting）：為不同類(lèi)別（甚至不同樣本）分配不同的權(quán)重。其中，權(quán)重可以自適應(yīng)。這一方法誕生出很多變種，如對(duì)類(lèi)別數(shù)目的倒數(shù)進(jìn)行加權(quán)、對(duì)“有效”樣本數(shù)加權(quán)、對(duì)樣本數(shù)優(yōu)化分類(lèi)間距的損失加權(quán)等等。
遷移學(xué)習(xí)?（transfer learning）：對(duì)多類(lèi)和少類(lèi)樣本分別建模，將學(xué)到的多類(lèi)樣本信息/表示/知識(shí)遷移給少類(lèi)別使用。
度量學(xué)習(xí)?（metric learning）：希望能學(xué)到更好的嵌入，以對(duì)少類(lèi)附近的邊界/邊緣更好地建模。
元學(xué)習(xí)/域自適應(yīng)?（meta learning/domain adaptation）：分別對(duì)頭、尾部數(shù)據(jù)進(jìn)行不同處理，自適應(yīng)地學(xué)習(xí)如何重加權(quán)，或是規(guī)劃成域自適應(yīng)問(wèn)題。
解耦特征和分類(lèi)器?（decoupling representation & classifier）：研究發(fā)現(xiàn)，將特征學(xué)習(xí)和分類(lèi)器學(xué)習(xí)解耦、將不平衡學(xué)習(xí)分為兩個(gè)階段，并在特征學(xué)習(xí)階段正常采樣、在分類(lèi)器學(xué)習(xí)階段平衡采樣，可以帶來(lái)更好的長(zhǎng)尾學(xué)習(xí)效果。這是目前最優(yōu)的長(zhǎng)尾分類(lèi)算法。
但這些，在樣本極端失衡的情況下也沒(méi)法用，如果真的只有幾個(gè)樣本，模型的性能差異就無(wú)法避免。
關(guān)鍵在于，究竟該怎么理解這里面的“不均衡”？
“不均衡”標(biāo)簽的內(nèi)在價(jià)值
那些本身就不平衡的數(shù)據(jù)標(biāo)簽，會(huì)不會(huì)具有什么價(jià)值？
研究發(fā)現(xiàn)，這些不平衡的數(shù)據(jù)標(biāo)簽，就像是一把“雙刃劍”。
一方面，這些標(biāo)簽提供了非常珍貴的監(jiān)督信息。
在特定任務(wù)上，有監(jiān)督學(xué)習(xí)通常比無(wú)監(jiān)督學(xué)習(xí)的準(zhǔn)確性更高，即使不平衡，標(biāo)簽也都具有“正面價(jià)值”。
但另一方面，標(biāo)簽的不平衡，會(huì)導(dǎo)致模型在訓(xùn)練過(guò)程中，被強(qiáng)加標(biāo)簽偏見(jiàn)?（label bias），從而在決策區(qū)域被主類(lèi)別極大地影響。
研究者們認(rèn)為，即使是不平衡標(biāo)簽，它的價(jià)值也可以被充分利用，并極大地提高模型分類(lèi)的準(zhǔn)確性。
如果能先“拋棄標(biāo)簽信息”，通過(guò)自監(jiān)督預(yù)訓(xùn)練，讓模型學(xué)習(xí)到好的起始表示形式，是否就能有效地提高分類(lèi)準(zhǔn)確性？
從半監(jiān)督，到自監(jiān)督預(yù)訓(xùn)練
作者們先對(duì)半監(jiān)督下的不均衡學(xué)習(xí)進(jìn)行了實(shí)驗(yàn)。
實(shí)驗(yàn)證明，利用無(wú)標(biāo)記數(shù)據(jù)的半監(jiān)督學(xué)習(xí)，能顯著提高分類(lèi)結(jié)果。
從圖中可以看出，未標(biāo)記數(shù)據(jù)，有助于建模更清晰的類(lèi)邊界，促成更好的類(lèi)間分離。
這是因?yàn)椋差?lèi)樣本所處區(qū)域數(shù)據(jù)密度低，在學(xué)習(xí)過(guò)程中，模型不能很好地對(duì)低密度區(qū)域進(jìn)行建模，導(dǎo)致泛化性差。
而無(wú)標(biāo)記數(shù)據(jù)，能有效提高低密度區(qū)域樣本量，使得模型能對(duì)邊界進(jìn)行更好的建模。
然而，在一些很難利用半監(jiān)督學(xué)習(xí)的極端情況下，仍然需要自監(jiān)督學(xué)習(xí)出場(chǎng)。
這是因?yàn)?，一旦自監(jiān)督產(chǎn)生良好初始化，網(wǎng)絡(luò)就可以從預(yù)訓(xùn)練任務(wù)中受益，學(xué)習(xí)到更通用的表示形式。
而實(shí)驗(yàn)同樣證明了這一點(diǎn)。
正常預(yù)訓(xùn)練的決策邊界，很大程度上會(huì)被頭類(lèi)樣本改變，導(dǎo)致尾類(lèi)樣本大量“泄漏”，無(wú)法很好地泛化。
而采用自監(jiān)督預(yù)訓(xùn)練的話，學(xué)習(xí)到的樣本保持清晰的分離效果，且能減少尾類(lèi)樣本泄漏。
也就是說(shuō)，為了利用自監(jiān)督克服標(biāo)簽偏見(jiàn)，在長(zhǎng)尾學(xué)習(xí)的第一階段，需要先放棄標(biāo)簽信息，進(jìn)行自監(jiān)督預(yù)訓(xùn)練。
此階段后，可以使用任何標(biāo)準(zhǔn)訓(xùn)練方法，訓(xùn)練得到最終模型。（例如此前所用的遷移學(xué)習(xí)、重加權(quán)、域自適應(yīng)……）
這樣，就能更好地解決長(zhǎng)尾問(wèn)題。
作者介紹
論文一作楊宇喆，目前是MIT計(jì)算機(jī)科學(xué)的三年級(jí)博士生，本科畢業(yè)于北京大學(xué)。
目前，楊宇喆的研究方向主要有兩個(gè)：基于學(xué)習(xí)的無(wú)線感應(yīng)技術(shù)，應(yīng)用方向是醫(yī)療保健；機(jī)器學(xué)習(xí)，主要是針對(duì)機(jī)器學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的魯棒性進(jìn)行研究。
論文二作Zhi Xu，本科畢業(yè)于伊利諾伊大學(xué)厄巴納-香檳分校，同樣是MIT的博士生，感興趣的研究方向是機(jī)器學(xué)習(xí)理論和現(xiàn)代應(yīng)用，目前主要在研究強(qiáng)化學(xué)習(xí)的穩(wěn)定性、效率、結(jié)構(gòu)和復(fù)雜度。
論文地址：
https://arxiv.org/abs/2006.07529
項(xiàng)目地址：
https://github.com/YyzHarry/imbalanced-semi-self
論文解讀@楊宇喆：
https://zhuanlan.zhihu.com/p/259710601
相關(guān)閱讀
