BigGAN被干了！DeepMind發(fā)布LOGAN：FID提升32%，華人一作領(lǐng)銜
魚羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號 QbitAI
上看，下看，左看，右看。從各個角度看美食，真是讓人越看越餓。
而有個不知道是好消息還是壞消息的事實(shí)是：這些食物從未真實(shí)存在過。
不錯，這是DeepMind最新推出的LOGAN生成的“偽美食圖鑒”。
這只GAN初登場就擊敗了“史上最強(qiáng)”的BigGAN，成為新的state-of-the-art，還把FID和IS分別提高了32%和17%。
什么概念？簡而言之，就是LOGAN可以生成更高質(zhì)量和更多樣化的偽照片。
左邊是BigGAN（FID/IS：5.04/126.8），右邊是LOGAN（FID/IS：5.09/217）。
同樣的低FID條件下，LOGAN可比BigGAN靠譜多了。
△左邊是BigGAN，右邊是LOGAN
而不考慮FID，在相似的高IS條件下，雖然生成的食物都一樣真實(shí)，且熱量爆炸，但顯然LOGAN的姿勢水平會更加豐富。
并且，DeepMind表示：無需引入任何架構(gòu)變化或其他參數(shù)。
潛在優(yōu)化
DeepMind采用的方法，是引入了一種受CSGAN啟發(fā)的潛在優(yōu)化（latent optimisation）。
首先，讓潛在變量z，通過生成器和判別器進(jìn)行前向傳播。
然后，用生成器損失（紅色虛線箭頭）的梯度來計(jì)算改進(jìn)的z’。
在第二次前向傳播中，使用優(yōu)化后的z’。其后，引入潛在優(yōu)化計(jì)算判別器的梯度。
最后，用這些梯度來更新模型。
這一方法的核心，其實(shí)是加強(qiáng)判別器和生成器之間的交互來改善對抗性。
GAN中基于梯度的優(yōu)化存在的一個重要問題是，判別器和生成器的損失產(chǎn)生的矢量場不是梯度矢量場。因此，不能保證梯度下降會找到局部最優(yōu)解且可循環(huán)，這就會減慢收斂速度，或?qū)е履Ｊ奖罎?、模式跳躍現(xiàn)象。
辛梯度調(diào)節(jié)算法（SGA）可以在普通博弈中尋找穩(wěn)定不動點(diǎn)，能改善對抗中基于梯度的方法的動態(tài)性。不過，因?yàn)樾枰?jì)算所有參數(shù)的二階導(dǎo)數(shù)，SGA的擴(kuò)展成本很高。
潛在優(yōu)化可以只分別針對潛在變量z和和判別器、生成器參數(shù)，使用二階導(dǎo)數(shù)，來達(dá)到近似SGA的效果。
如此，就不必使用計(jì)算代價高昂的涉及判別器和生成器參數(shù)的二階項(xiàng)。
簡而言之，潛在優(yōu)化最有效地耦合了判別器和生成器的梯度，且更具可擴(kuò)展性。
并且，LOGAN受益于強(qiáng)大的優(yōu)化器。研究人員使用自然梯度下降（NGD）進(jìn)行潛在優(yōu)化時發(fā)現(xiàn)，這種近似二階優(yōu)化方法比精確二階方法表現(xiàn)更好。
雖然NGD在高維參數(shù)空間中同樣代價高昂，但即使在非常大的模型中，它對于潛在優(yōu)化也是有效的。
從實(shí)驗(yàn)結(jié)果來看，潛在優(yōu)化明顯改善了GAN的訓(xùn)練效果。
采用和BigGAN-deep基線相同的架構(gòu)和參數(shù)數(shù)量，LOGAN在FID和IS上都有更好的表現(xiàn)。
不過，在訓(xùn)練期間，因?yàn)轭~外的前向和后向傳播，LOGAN每一步的速度比BigGAN慢2到3倍。
華人一作領(lǐng)銜
論文一作，是DeepMind的研究科學(xué)家Yan Wu。
他于2019獲劍橋大學(xué)計(jì)算神經(jīng)科學(xué)博士學(xué)位，16年進(jìn)入DeepMind工作。
論文的其他幾位作者，分別是畢業(yè)于UC伯克利的Jeff Donahue博士。
畢業(yè)于芝加哥大學(xué)數(shù)學(xué)專業(yè)的David Balduzzi博士。
Vision Factory創(chuàng)始人Karen Simonyan。
以及倫敦學(xué)院大學(xué)客座教授、畢業(yè)于皇后大學(xué)的系統(tǒng)神經(jīng)科學(xué)博士Timothy Lillicrap。
傳送門
論文地址：
https://arxiv.org/abs/1912.00953
相關(guān)論文：
SGA：https://arxiv.org/abs/1802.05642
CSGAN：https://arxiv.org/abs/1901.03554
相關(guān)閱讀
