Hinton團(tuán)隊新作：無需重構(gòu)，無監(jiān)督比肩有監(jiān)督，北郵畢業(yè)生一作
魚羊 發(fā)自 麥蒿寺
量子位 報道 | 公眾號 QbitAI
最新研究表明，無需重構(gòu)，無監(jiān)督表示學(xué)習(xí)也可以表現(xiàn)出色。
來自圖靈獎得主 Hinton 團(tuán)隊的最新研究，提出了一種名為 SimCLR 的視覺表示對比學(xué)習(xí)簡單框架。
作者表示，SimCLR 簡化了自監(jiān)督對比學(xué)習(xí)算法，使其不再依賴于專門的架構(gòu)和存儲庫。
△灰色x表示有監(jiān)督ResNet-50
SimCLR
SimCLR 學(xué)習(xí)表示的方式，是通過對比損失最大化了同一示例不同增強(qiáng)視圖的隱藏層之間的一致性。
使其表現(xiàn)出色的關(guān)鍵因素，有四點：
1. 多個數(shù)據(jù)增強(qiáng)的組合
研究人員發(fā)現(xiàn)，即使模型可以在對比任務(wù)中幾乎完美地識別出正對，也無法通過單個變換來學(xué)習(xí)良好的表示。
采用數(shù)據(jù)增強(qiáng)組合時，對比預(yù)測任務(wù)會變得更加困難，但表示質(zhì)量會大大提高。
并且，研究還指出，比起監(jiān)督學(xué)習(xí)，對比學(xué)習(xí)需要更強(qiáng)大的數(shù)據(jù)增強(qiáng)。
2. 在表示（the representation）和對比（the contrastive）之間引入可學(xué)習(xí)的非線性變換
下圖顯示了使用三種不同頭架構(gòu)的線性評估結(jié)果。
非線性投影要好于線性投影，并且比沒有投影要好得多。
3. 更大的批處理規(guī)模和更多的訓(xùn)練步驟
與監(jiān)督學(xué)習(xí)相反，在對比學(xué)習(xí)中，較大的批處理量產(chǎn)生了更多的負(fù)面樣本，從而促進(jìn)了收斂。
4. 溫度標(biāo)度交叉熵?fù)p失的歸一化
實驗結(jié)果
在 ImageNet 上，SimCLR 方法訓(xùn)練出的線性分類器與有監(jiān)督的 ResNet-50 性能相匹配，達(dá)到了 76.5% 的 top-1 準(zhǔn)確率。相比于 SOTA，提升了7個百分點。
僅對 1% 的標(biāo)簽進(jìn)行微調(diào)時，SimCLR 可以達(dá)到 85.8% 的 top-5 準(zhǔn)確率。并且相比于 AlexNet，標(biāo)簽數(shù)量減少了 100 倍。
一作：北郵畢業(yè)生
SimCLR 的研究團(tuán)隊來自谷歌大腦，圖靈獎得主 Geoffrey Hinton 名列其中。
論文一作，則是本科畢業(yè)于北京郵電大學(xué)的 Ting Chen。
本科畢業(yè)后，Ting Chen 赴美留學(xué)，先在東北大學(xué)（Northeastern University），其后跟隨導(dǎo)師轉(zhuǎn)至加州大學(xué)洛杉磯分校獲得CS博士學(xué)位。
2017年開始，他先后在谷歌AI、谷歌大腦等部門實習(xí)，2019年正式成為谷歌大腦的研究科學(xué)家。
傳送門
論文地址：https://arxiv.org/abs/2002.05709
Ting Chen 推特：https://twitter.com/tingchenai/status/1228337240708874241
— 完 —
誠摯招聘
量子位正在招募編輯/記者，工作地點在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請在量子位公眾號(QbitAI)對話界面，回復(fù)“招聘”兩個字。
量子位 QbitAI · 頭條號簽約作者
?’?’ ? 追蹤AI技術(shù)和產(chǎn)品新動態(tài)
相關(guān)閱讀
剛剛，圖靈獎揭曉！史上首位數(shù)學(xué)和計算機(jī)最高獎“雙料王”出現(xiàn)了
復(fù)雜性理論先驅(qū)維格森，5個月前剛現(xiàn)身清華叉院
ICLR 2025 Spotlight：音頻生成新突破！港科北郵團(tuán)隊首次通過文本控制聲源方向生成音頻
通過文本控制生成多通道音頻在影視娛樂、AR/VR等領(lǐng)域擁有重要應(yīng)用。
