二次元妹子五官畫風(fēng)都能改，周博磊團隊用無監(jiān)督方法控制GAN | CVPR 2021
讓GAN的元素為你所控
曉查 發(fā)自 凹非寺? 量子位 報道 | 公眾號 QbitAI
現(xiàn)在，GAN不僅能畫出二次元妹子，還能精準(zhǔn)調(diào)節(jié)五官、表情、姿勢和繪畫風(fēng)格。
而且在調(diào)控某個因素的時候，其他條件能盡量保持不變。
這就是香港中文大學(xué)周博磊團隊提出的SeFa（語義分解，Semantics Factorization），該論文最近入選了CVPR 2021（Oral）。
SeFa適用于PGGAN、StyleGAN、BigGAN和StyleGAN2等常見GAN模型，不僅對二次元妹子有效，甚至還能調(diào)控貓咪上下左右不同方向。
通過這種方法分離出映射矩陣的各個本征值，即可實現(xiàn)對不同圖像元素的精準(zhǔn)調(diào)控
更重要的是，SeFa無需對GAN生成的數(shù)據(jù)進行標(biāo)注，它能自己找到這些元素變化對應(yīng)的編碼。也就說SeFa是一種無監(jiān)督方法。
目前，SeFa相關(guān)代碼已經(jīng)開源。
周博磊教授團隊的這一成果還得到了母校CSAIL實驗室的轉(zhuǎn)發(fā)。
無監(jiān)督方法調(diào)節(jié)GAN
這些年，GAN在圖像合成上取得了巨大的成功。如果想要更好的操控GAN，就需要正確識別其中語義。
但是，由于潛在空間的高維性以及圖像語義的多樣性，在潛在空間中尋找有效的語義非常具有挑戰(zhàn)性。
現(xiàn)有一些基于監(jiān)督學(xué)習(xí)的方法，通常首先對大量的潛在編碼進行隨機采樣，然后合成大量圖像，并使用一些預(yù)定義的標(biāo)簽對其進行注釋，最后使用這些標(biāo)記樣本來學(xué)習(xí)潛在空間中的分離邊界。
這種對大量GAN生成圖片進行標(biāo)注的方法，耗時耗力。
因此，作者沒有直接利用合成樣本作為中間步驟，而是直接研究了GAN的生成機制以解釋其內(nèi)部表示。
更具體地說，對于所有基于神經(jīng)網(wǎng)絡(luò)的GAN架構(gòu)，都是將全連接層用作將輸入潛在編碼帶入生成器的第一步。
這種變換實際上會濾除潛在空間中一些可忽略的因素，突顯對于圖像合成關(guān)鍵的因素。如果我們能夠識別出這些重要的潛在方向，就可以控制圖像生成過程。
SeFa對圖像的操作，可以看做是將d維潛在空間中的對應(yīng)向量z沿著n的方向進行移動。
而GAN還會將z映射到另一個m維空間的y。
最終，作者將這一問題轉(zhuǎn)化為：
與其他方法對比
與現(xiàn)有的監(jiān)督和無監(jiān)督方法相比，SeFa方法能夠更準(zhǔn)確，更廣泛地識別可解釋的維度。而且該方法靈活通用，可適用于不同的GAN。
在下圖中，SeFa（b）和無監(jiān)督的GANSpace（a）、有監(jiān)督的InterFaceGAN進行了定性對比。SeFa已經(jīng)接近于有監(jiān)督方法的效果。
和InfoGAN（a）對比發(fā)現(xiàn)，SeFa（b）對不同語義因素的分解程度更高，因為前者在變換人臉姿勢時，發(fā)色發(fā)生了明顯的變化。
SeFa不僅能處理GAN制造的圖片，對真實照片也有效。利用之前周博磊團隊提出的GAN反演方法，將真實照片反向投影到潛在空間，就能改變真實照片。
作者簡介
這篇論文的第一作者是香港中文大學(xué)多媒體實驗室的在讀博士生Shen Yujun，本科畢業(yè)于清華大學(xué)。
他的研究方向是計算機視覺、深度學(xué)習(xí)、生成模型、網(wǎng)絡(luò)解釋、可解釋人工智能（XAI）。
今年他已有3篇論文被CVPR 2021接收，其中兩篇為Oral。之前他還在CVPR 2020上發(fā)表了2篇論文，在CVPR 2018上發(fā)表了1篇論文，總計發(fā)表了6篇CVPR。
論文的通訊作者是香港中文大學(xué)助理教授周博磊。
周博磊是MIT CSAIL實驗室博士，他的研究涉及計算機視覺和機器學(xué)習(xí)，尤其是視覺場景理解和可解釋AI系統(tǒng)。
論文地址： https://arxiv.org/abs/2007.06600
代碼地址： https://github.com/genforce/sefa
Colab地址： https://colab.research.google.com/github/genforce/sefa/blob/master/docs/SeFa.ipynb
版權(quán)所有，未經(jīng)授權(quán)不得以任何形式轉(zhuǎn)載及使用，違者必究。
相關(guān)閱讀
