谷歌大腦研究員指明GAN研究方向：7大問題全面梳理，附贈研究建議

曉查 2019-04-12 14:59:38 來源：量子位

魚羊 發(fā)自 紐凹非寺

量子位 報道 | 公眾號 QbitAI

比起自己埋頭寫論文，聊聊自己感興趣的方向，期待一下旁人的智慧，或許也是個不錯的主意。

谷歌大腦研究員Augustus Odena最近有了新的想法，不是再寫一篇GAN方面的論文，而是推薦幾個他感興趣的研究方向，看看別人在這些主題上都能寫出什么樣精彩的文章。

Augustus Odena是谷歌大腦機器學(xué)習(xí)方面的專家，2016年他開始發(fā)表生成對抗網(wǎng)絡(luò)（GAN）領(lǐng)域的論文，不僅跟GANs之父Goodfellow有過密切的合作，其關(guān)于GAN的論文也頻頻登上機器學(xué)習(xí)國際頂會的舞臺，可謂是GAN這一研究領(lǐng)域的一線大牛。

就在近日，大牛在distill上發(fā)表了一篇新的文章，沒講什么新研究，只是提出了關(guān)于GAN的七個問題。

大牛希望通過這七個問題，能向大家闡明他對于GAN這個研究課題的看法。而對于研究人員來說，大牛指路，簡直就是把靈感源泉送到眼前，還不得趕緊多吸幾口靈氣？

七個問題，七種方向

問題1 GAN和其他生成模型之間的基本權(quán)衡是什么？

Problem 1 What are the trade-offs between GANs and other generative models?

問題2 GAN能為哪種分布建模？

Problem 2 What sorts of distributions can GANs model?

問題3 如何讓GAN在非圖像數(shù)據(jù)上表現(xiàn)良好？

Problem 3 How can we Scale GANs beyond image synthesis?

問題4 我們何時能夠證明GAN是全局收斂的？

Problem 4 What can we say about the global convergence of the training dynamics?

問題5 我們該如何評估GAN，又該在何時使用它而非其他生成模型？

Problem 5 How should we evaluate GANs and when should we use them?

問題6 GAN訓(xùn)練如何按批大小進行擴展？

Problem 6 How does GAN training scale with batch size?

問題7 GAN與對抗樣本之間的關(guān)系是什么？

Problem 7 What is the relationship between GANs and adversarial examples?

這些問題其實一直以來也是研究者們關(guān)心的重點，不過僅僅提出問題顯然不是大牛的追求。Augustus Odena通過提問題的方式對GAN的研究背景進行了總結(jié)，同時也給出了一些解決問題的參考方向。

在Augustus Odena看來，GAN已經(jīng)進入了一個發(fā)展的瓶頸期，現(xiàn)在是時候來梳理梳理這一研究領(lǐng)域的發(fā)展目標(biāo)了。

來看看他都是如何總結(jié)的吧。

總結(jié)一：GAN是否會被取代

GAN并不等同于生成模型，但由于GAN在圖像生成方面表現(xiàn)實在太突出，在網(wǎng)絡(luò)上幾乎成為了“網(wǎng)紅”一般的存在。

但事實上，生成模型是研究的熱點沒錯，GAN卻并不是唯一的方向。GAN的提出者Goodfellow就說過，如果不能找到穩(wěn)定訓(xùn)練GAN的方法，GAN有可能會被其他的結(jié)構(gòu)取代。

Augustus Odena提到除了GAN以外，目前還有另外兩種比較流行的生成模型：流模型和自回歸模型。最近的研究成果表明，這些模型具有不同的性能特征和權(quán)衡。GAN并行高效但不可逆；流模型允許精確的對數(shù)似然計算和精確推理，但效率低；自回歸模型可逆且高效，但不并行。

這也就帶來了第一個問題：GAN和其他生成模型之間的基本權(quán)衡是什么？

Augustus Odena認為研究更多的模型能幫助解決這個問題，尤其是一些混合模型，比如混合GAN/流模型。他覺得在這個方向上還有很多值得發(fā)掘的東西。

總結(jié)二：用GAN給指定分布建模有多難

大多數(shù)GAN研究側(cè)重于圖像合成，人們往往都是用MINIST、CIFAR-10、STL-10、CelebA和Imagenet這樣的數(shù)據(jù)集來訓(xùn)練GAN。而哪些數(shù)據(jù)集更容易建模，總有一些坊間傳聞，但如果想要驗證這些結(jié)論，那就復(fù)雜了。

Augustus Odena指出，與任何科學(xué)一樣，GAN也希望有一個簡單的理論來解釋實驗結(jié)果。 于是問題二就來了：我們怎么才能知道用GAN建模有多難？

大牛建議從兩個方面著手：

合成數(shù)據(jù)集——通過研究合成數(shù)據(jù)集來探究哪些特征會影響學(xué)習(xí)性能

修改現(xiàn)有的理論結(jié)果——嘗試修改現(xiàn)有理論結(jié)果的假設(shè)來解釋數(shù)據(jù)集的不同屬性

總結(jié)三：GAN只能合成圖像嗎

GAN在圖像合成領(lǐng)域的成績有目共睹，而在圖像合成之外，Augustus Odena提到了三個主要受到關(guān)注的領(lǐng)域：文本，結(jié)構(gòu)化數(shù)據(jù)，音頻。

（快速生成高保真音頻的新方法GANsynth, Jesse Engel, 2019）

在無監(jiān)督音頻合成方面GAN是比較成功的，但在其他方面還是乏善可陳。那么如何才能使GAN在非圖像數(shù)據(jù)上表現(xiàn)得更好呢？這就是第三個問題。

是采取新的訓(xùn)練技術(shù)，還是從先驗信息入手？大牛表示都不容易，這個問題的解決，也許得仰仗基礎(chǔ)研究的進展了。

總結(jié)四：GAN的收斂問題

Augustus Odena還對GAN的收斂問題的研究進展進行了總結(jié)。

GAN的收斂問題一直備受關(guān)注。與其他神經(jīng)網(wǎng)絡(luò)不同，GAN的訓(xùn)練過程是在同時優(yōu)化發(fā)生器和鑒別器，讓兩個AI相互對抗。模型不收斂的問題會使它變得不穩(wěn)定。

大牛總結(jié)了三條技術(shù)路線，目前都有所突破，但都還沒有研究完成。

簡化假設(shè)——簡化關(guān)于發(fā)生器和鑒別器的假設(shè)

使用正常神經(jīng)網(wǎng)絡(luò)技術(shù)——應(yīng)用分析正常神經(jīng)網(wǎng)絡(luò)（非凸的）的技術(shù)來回答有關(guān)GAN收斂的問題

博弈論——用博弈論的概念對GAN訓(xùn)練進行建模

總結(jié)五：GAN的評估問題

關(guān)于GAN的評估，有很多提案但大多難成共識。這些建議包括：

• 初始分數(shù)和FID
• MS-SSIM
• AIS
• 幾何分數(shù)
• 精確率和召回率
• 技能等級

這還只是GAN評估方案的一小部分，盡管初始分數(shù)和FID相對受歡迎，但GAN的評估顯然不是一個一成不變的問題。

Augustus Odena認為如何評估GAN的困惑來源于對何時使用GAN的不解，于是他把兩個問題捆綁在一起，先考慮GAN的適用性，再在這樣的背景下去進行評估。

GAN很適合用來處理感知任務(wù)，它在圖像合成、圖像轉(zhuǎn)換上的成績已經(jīng)證明了這一點。所以問題就變成了在感知任務(wù)的處理上我們?nèi)绾卧u估GAN？

一個簡便的方法就是分類器雙樣品測試（C2STs），這個方法的主要問題是，哪怕發(fā)生器只是產(chǎn)生了一個很小的缺陷，它都會主導(dǎo)評估結(jié)果。

大牛想了想，覺得這件事還是得由人來主導(dǎo)。為了降低成本，可以用機器來預(yù)測人類的判斷結(jié)果，不過在預(yù)測結(jié)果不確定的時候，還是需要真人介入。

總結(jié)六：GAN訓(xùn)練如何按批大小進行擴展

大部分GAN中的鑒別器只是一個圖像分類器，如果瓶頸在于梯度噪聲，那么增加批大小就能加速訓(xùn)練。但是GAN有一個不同于分類器的瓶頸：它的訓(xùn)練過程是不穩(wěn)定的。

Augustus Odena于是提出了第六個問題：GAN訓(xùn)練如何按批大小進行擴展？梯度噪聲在GAN的訓(xùn)練過程中扮演什么樣的角色？是否可以修改GAN訓(xùn)練，使其隨批處理大小更好地實現(xiàn)擴展？

他指出了三個解決方案，其中，他認為在批大小非常大的時候，Optimal Transport GANs會是不錯的選擇。而異步SGD也是一個值得關(guān)注的方法。

總結(jié)七：鑒別器的對抗魯棒性會如何影響GAN訓(xùn)練

眾所周知，圖像分類器會受到對抗樣本的影響：對抗樣本與真實樣本的區(qū)別幾乎無法用肉眼分辨，但是卻會導(dǎo)致模型進行錯誤的判斷。

由于GAN的鑒別器就是圖像分類器，所以它也可能遭遇對抗樣本的問題。

Augustus Odena提到，盡管有大量關(guān)于GAN和對抗樣本的文獻，但它們之間的關(guān)系卻沒有得到多少研究。

那么問題就來了：GAN和對抗樣本之間有什么樣的關(guān)系？鑒別器的對抗魯棒性會如何影響GAN的訓(xùn)練結(jié)果？

Augustus Odena認為這個研究課題很有價值。對生成模型的蓄意攻擊已經(jīng)被證明是可行的，而遭到“意外攻擊”的可能性雖然比較小，但也沒有決定性的證據(jù)證明發(fā)生器不會產(chǎn)生對抗樣本。

看完這些內(nèi)容，你是否思路清晰了一些？總之，每一個問題都包含了大量的背景知識，聽大牛講那生成對抗網(wǎng)絡(luò)的過去未來，總是沒有壞處。

而大牛本人也表示，他很希望看到其他領(lǐng)域的研究者也能寫寫類似的文章，幫助大家梳理思路。

傳送門

大牛文章：

https://distill.pub/2019/gan-open-problems/