宋朝名畫“虎戴VR”，在外網(wǎng)火了
Imagen、DALL·E繪畫哪家強(qiáng)？
金磊 Alex 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
誰能想到，宋朝的老虎們，有一天能在國外被玩兒火了。
事情是這樣的。
前不久谷歌不是出了個AI創(chuàng)作神器Imagen嘛。
只要你給一句話，它就能生成符合語意的圖片。
然后腦洞大開的國外網(wǎng)友們，不按套路地給Imagen出了道題：
給宋代的東方老虎佩戴VR。
Imagen也沒在怕的，“啪的一下”就給出了一幅力作——《虎戴VR》。
還別說，這幅《虎戴VR》還真是有點那味了。
不僅是畫風(fēng)上，VR頭戴跟老虎以及整幅畫作能夠保持一致。
就連手柄、雙虎嬉戲的感覺也都一步到位地畫了出來。
然后還有兩只老虎戴VR，手牽著手一起“恰恰恰”的：
甚至Imagen還別出心裁地設(shè)計了個“連線”版VR（可能在面對面看片吧）：
但畢竟在AI作畫這事上，除了谷歌Imagen之外還有很多神器。
于是，一場《虎戴VR》作畫大戰(zhàn)就此拉開序幕。
（猜猜誰家的畫更有“心有猛虎，細(xì)嗅薔薇”的味道
）
DALL-E也來請戰(zhàn)
首先來應(yīng)戰(zhàn)的，定然是OpenAI家的DALL·E。
網(wǎng)友Jacob出于好奇，便用它做了幾幅來做比較。
首先是滿滿“定妝照”風(fēng)格的《虎戴VR》（很颯啊）：
不難看出，DALL·E的畫作和Imagen在風(fēng)格上還是有很大的區(qū)別。
Imagen的畫作更趨于簡約線條風(fēng)，而DALL·E則更多了些許油畫的元素。
不過在意境方面，DALL·E也是能夠產(chǎn)出“雙虎嬉戲”，甚至是擬人的畫作：
二者相比之下，網(wǎng)友們給出了他們的評價：
大多數(shù)網(wǎng)友們對谷歌家的Imagen更買單。
而除了它倆之外，像AI繪畫神器MidJourney也參與到了此次“大戰(zhàn)”。
不過它的作品，就顯得略有些詭異了……
DALL·E VS Imagen
那么，同樣作為AI創(chuàng)作神器，最近大火的Imagen和DALL·E為何畫風(fēng)會截然不同呢？
Open AI的DALL·E和谷歌的Imagen，都可以直接通過文本描述生成類似超現(xiàn)實主義的圖像，讓機(jī)器也能擁有設(shè)計師般的創(chuàng)造力。
不過，二者的“創(chuàng)作”原理大相徑庭。
DALL·E 2采用CLIP將文本特征映射到圖像特征，然后指導(dǎo)一個GAN或擴(kuò)散模型生成圖像。
所謂CLIP，是一個在各種圖像和文本上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，對生成的多張圖片進(jìn)行排序，挑選出更好的生成結(jié)果進(jìn)行展示。
而谷歌的Imagen則使用純語言模型只負(fù)責(zé)編碼文本特征，把文本到圖像轉(zhuǎn)換的工作丟給了圖像生成模型。
語言模型部分使用的是谷歌自己的T5-XXL編碼器，將訓(xùn)練好的文本凍結(jié)。
圖像生成部分則是一系列擴(kuò)散模型，先生成低分辨率圖像，再逐級超采樣。
谷歌的T5-XXL有46億個參數(shù)，而擴(kuò)大文本編碼器的規(guī)模，可以有效改善文本到圖像的對應(yīng)關(guān)系，和圖像的保真度。
此外，Imagen還使用了另一種稱為noise conditioning augmentation的擴(kuò)散技術(shù)，幫助模型學(xué)習(xí)已添加的噪聲量，從而提高圖像的還原性。
對比來看，Imagen似乎比DALL·E更具有“寫實”的特點：
目前，在Imagen官網(wǎng)上已涌現(xiàn)出各種新奇的圖像。
有人給浣熊戴上了宇航員頭盔。
泰迪熊在這里開始游蝶泳。
還有老鷹型的巧克力冰淇淋（嗯，還挺應(yīng)景）。
截至目前，Imagen和DALL·E都還在調(diào)試階段，尚未向公眾開放。
One More Thing
這次《虎戴VR》AI作畫大戰(zhàn)中，也不乏有失敗的作品。
例如有網(wǎng)友就給出了用DALL·E mini來生成的示例。
不難看出，在這版中的《虎戴VR》中，并沒有任何VR的出現(xiàn)，而且老虎的面部基本上都是模糊不清。
據(jù)網(wǎng)友描述，他在生成的過程中，只是把“北宋”改成了“南宋”：
畫作最難的“形象性”，在這次有所下降。
那么你覺得《虎戴VR》，哪家AI神器更強(qiáng)一些呢？
參考鏈接：
https://twitter.com/hardmaru/status/1532757753797586944?s=21&t=MhwVN5VXH22zFK7DWQJnCg
相關(guān)閱讀
谷歌讓AI芯片學(xué)會“下崽”，下一代TPU就讓AI自己設(shè)計
論文登上Nature
谷歌AI發(fā)布“會動的”3D物體數(shù)據(jù)集，附帶標(biāo)記邊界框、相機(jī)位姿、稀疏點云，網(wǎng)友：快給我的AR模型用上
1.5萬張動圖，400萬張圖片
博士意外發(fā)現(xiàn)秘密：DALL-E 2自創(chuàng)語言，人看不懂但能生成特定圖像，可能會被用來搞事！
“Apoploe vesrreaitais”代表鳥類
