CVPR 2020 Oral：一行代碼提升遷移性能，中科院計(jì)算所研究生一作

賴(lài)可 2020-04-04 12:54:13 來(lái)源：量子位

賈浩楠 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

在遷移學(xué)習(xí)任務(wù)中，一直存在這樣的問(wèn)題：

目標(biāo)域由于沒(méi)有標(biāo)簽，常常導(dǎo)致分界面附近混淆較多的數(shù)據(jù)。

中科院計(jì)算所的在讀研究生崔書(shū)豪等，提出了一種新的解決方法：批量核范數(shù)最大化?（Batch Nuclear-norm Maximization，BNM）。

在典型的標(biāo)簽不足場(chǎng)景下(如半監(jiān)督學(xué)習(xí)等)，BNM可以有效地提升學(xué)習(xí)效果。

并且，大量實(shí)驗(yàn)表明，BNM的性能要優(yōu)于目前主流的一些方法，并且搭配起來(lái)使用，效果也很不錯(cuò)。

這篇論文已被接收為CVPR 2020 Oral。

主要思路

類(lèi)別預(yù)測(cè)的判別性與多樣性同時(shí)指向批量響應(yīng)矩陣的核范數(shù)，這樣就可以最大化批量核范數(shù)來(lái)提高遷移問(wèn)題中目標(biāo)域的性能。

可以通過(guò)分析批量類(lèi)別響應(yīng)組成的批量矩陣A，嘗試從判別性和遷移性進(jìn)行優(yōu)化。

判別性

所謂判別性，指的是預(yù)測(cè)類(lèi)別的過(guò)程是否堅(jiān)定。比如對(duì)于二類(lèi)問(wèn)題的響應(yīng)：1、[0.9,0.1]判別性較高2、[0.6,0.4]判別性較低。

常見(jiàn)的方法采用最小化熵來(lái)得到較高的判別性。我們發(fā)現(xiàn)矩陣A的F范數(shù)與熵有著相反的單調(diào)性，從而可以通過(guò)最大化A的F范數(shù)來(lái)提升判別性。

多樣性

多樣性可以近似表達(dá)為批量矩陣中預(yù)測(cè)的類(lèi)別數(shù)量，即預(yù)測(cè)的類(lèi)別數(shù)量多則響應(yīng)多樣性大。

考慮不同類(lèi)別響應(yīng)的線性相關(guān)性，如果兩個(gè)響應(yīng)屬于不同類(lèi)別，那么響應(yīng)會(huì)差別較大線性無(wú)關(guān)，如果屬于相同類(lèi)別則近似線性相關(guān)：1、[0.9,0.1]與[0.1,0.9]線性無(wú)關(guān)2、[0.9,0.1]與[0.8,0.2]近似線性相關(guān)。

那么預(yù)測(cè)類(lèi)別數(shù)也就是矩陣中最大的線性無(wú)關(guān)向量數(shù)，即矩陣的秩。

BNM

核范數(shù)是矩陣奇異值的和，在數(shù)學(xué)上有兩點(diǎn)結(jié)論：

1、核范數(shù)與F范數(shù)相互限制界限2、核范數(shù)是矩陣秩的凸近似

所以類(lèi)別預(yù)測(cè)的判別性與多樣性同時(shí)指向矩陣的核范數(shù)，我們可以最大化矩陣核范數(shù)（BNM）來(lái)提升預(yù)測(cè)的性能。

比如上圖中，如果使用熵最小化（EntMin）和BNM來(lái)優(yōu)化，當(dāng)熵相同的時(shí)候，使用BNM優(yōu)化更容易使得核范數(shù)更大，從而預(yù)測(cè)對(duì)擁有較少數(shù)量的類(lèi)別（綿羊）。

實(shí)現(xiàn)

在常用的框架Pytorch與Tensorflow中，均可通過(guò)一行代碼實(shí)現(xiàn)BNM。

Pytorch:

TensorFlow：

應(yīng)用

我們將BNM應(yīng)用到三個(gè)標(biāo)簽不足的場(chǎng)景中：半監(jiān)督學(xué)習(xí)、領(lǐng)域適應(yīng)和開(kāi)放域物體識(shí)別。

實(shí)驗(yàn)表明，在半監(jiān)督學(xué)習(xí)中可以提升現(xiàn)有方法；在領(lǐng)域適應(yīng)中BNM約束明顯優(yōu)于EntMin，并且單一的BNM約束可以達(dá)到與現(xiàn)有方法相近的性能，如下圖：

在開(kāi)放域物體識(shí)別中單一的BNM約束超過(guò)有著冗雜損失函數(shù)的UODTN，達(dá)到SOTA性能，如下圖：

同時(shí)在開(kāi)放域物體識(shí)別中，我們統(tǒng)計(jì)了隨機(jī)采樣的批量響應(yīng)中未知類(lèi)所占比例，如圖：

我們發(fā)現(xiàn)BNM確實(shí)可以保持未知類(lèi)所占比例，從而保障整體預(yù)測(cè)的類(lèi)別數(shù)量與準(zhǔn)確性，從而保持多樣性。

此方法主要針對(duì)的是缺少標(biāo)簽場(chǎng)景下分界面附近數(shù)據(jù)密度較大的問(wèn)題，對(duì)于遷移相關(guān)的任務(wù)有著較為普遍的改善價(jià)值。

作者介紹

論文作者包括中科院計(jì)算所學(xué)生崔書(shū)豪，卓君寶；計(jì)算所副研究員王樹(shù)徽，李亮；國(guó)科大講席教授黃慶明和華為諾亞方舟實(shí)驗(yàn)室田奇博士。

本文第一作者崔書(shū)豪，2018年本科畢業(yè)于清華大學(xué)自動(dòng)化系，現(xiàn)在是中科院計(jì)算所VIPL實(shí)驗(yàn)室二年級(jí)碩士生，研究方向?yàn)樯疃阮I(lǐng)域適應(yīng)學(xué)習(xí)與開(kāi)放域?qū)W習(xí)技術(shù)。指導(dǎo)老師王樹(shù)徽，長(zhǎng)期從事跨模態(tài)、跨域分析推理技術(shù)研究

值得一提的是，崔書(shū)豪以第一作者向CVPR 2020提交了兩篇論文，另一篇是Gradually Vanishing Bridge for Adversarial Domain Adaptation，目前也被接收。

傳送門(mén)

論文原址：https://arxiv.org/pdf/2003.12237.pdf

第二篇CVPR:https://arxiv.org/abs/2003.13183

BNM項(xiàng)目Github主頁(yè)：https://github.com/cuishuhao/BNM

崔書(shū)豪知乎：https://zhuanlan.zhihu.com/p/121507249