谷歌上線AI新玩法：隨手亂涂鴉，一鍵變怪獸
這是Google研究人員制作的AI工具奇美拉畫家（Chimera Painter）。
蕾師師 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
小明隨意地涂鴉了一個頭部，再簡單地畫了個翅膀，加上一個大尾巴……再單擊「轉(zhuǎn)換」鍵。
一只面目猙獰、皮膚粗糙、紋理細致的大怪獸就創(chuàng)造出來了。
這是Google研究人員制作的AI工具奇美拉畫家（Chimera Painter）。
這是個線上繪畫工具，可以將涂鴉變成一個栩栩如生的怪物。
奇美拉的條件型GAN
研究人員建立了一個生物混合體的概念，就像是一個紙牌游戲。
比如你拿到一張「鯨」卡，通過組合，可以變成一個「鯨VS大象」的嵌合體怪獸。
這個組合而成藝術(shù)作品，還能保留原始圖像的視覺特征。
在此之前生成式對抗網(wǎng)絡 （GAN, Generative Adversarial Networks ）被廣泛用于圖像創(chuàng)作上。GAN一般包含兩個模塊：
- 生成模型（Generative Model）
- 判別模型（Discriminative Model）
兩個模塊互相博弈學習產(chǎn)生相當好的輸出。一個優(yōu)秀的GAN應用需要有良好的訓練方法，否則可能由于神經(jīng)網(wǎng)絡模型的自由性而導致輸出不理想。
例如，麻省理工學院和IBM合作，開發(fā)出了“GAN繪畫工作室”。
允許用戶上傳自選圖像以從多種角度修改其外觀，從更改對象的大小到添加全新的物體，例如如樹木、窗戶、建筑物、桌子……等等。
再有，英偉達（Nvidia）最新的AI軟件將粗糙的涂鴉變成真實的風景。
而在奇美拉畫家中，與前兩者注重照片寫實的GAN不一樣，他們采用了一種稱作條件型GAN的方法。
這種方法與一般的GAN不一樣，一般的GAN是在一系列圖片基礎(chǔ)上，生成器和判別器相互對抗磨合，形成全新的圖。
奇美拉畫家則是需要在生成器中輸入一張創(chuàng)作圖，在此基礎(chǔ)上，再通過GAN生成新圖。
將怪獸肢解建模，再組合渲染
為了訓練GAN，研究人員創(chuàng)建了10000多個全彩色圖像的數(shù)據(jù)集，包含不同生物的3D模型。
在這個生物模型的數(shù)據(jù)庫中，不僅描繪了每個生物整體的大小和形狀，還提供了肢體、器官、軀干的分割圖。
藝術(shù)家就在這些“肢解”模型的基礎(chǔ)上，重新組合出新的“生物”?？梢赃x擇頭、牙齒、軀干、翅膀等不同部分進行繪畫。
可以看到左側(cè)有各種肢體部分選項按鈕。
然后經(jīng)過GAN，選出組合得最好的模型，將之合并，輸出到Chimera Painter中。
得先制作生物紋理
在GAN模型中，在渲染對比度低的圖像部分時，會有跳格，使圖像失去空間連貫性。
例如這張圖的腿和眼睛的識別界限不清晰，導致輸出來的圖像奇奇怪怪。
為了解決這個問題，奇美拉畫家的研究人員開發(fā)了一種新的半自動化方法。
奇美拉畫家對每種所需的生物類型（例如鬣狗或獅子）都會建立一個模型。
然后，藝術(shù)家使用虛幻引擎制作了疊加在3D模型上的彩色紋理。
再將「分割圖」的單色（例如頭，耳，頸等部分）套用到模型上，確保GAN了解到藝術(shù)家指定的的結(jié)構(gòu)，形狀，紋理和比例。
再次使用虛幻引擎將3D生物模型放置在簡單的3D場景中。
為了增加數(shù)據(jù)庫的模型數(shù)量，一個自動化腳本會主動采用這個3D場景。在10000張生物模型的基礎(chǔ)上，繼續(xù)補充，生成了10000+張圖像+分割圖。
根據(jù)生物的不同姿勢，在視點和縮放級別之間進行插值，創(chuàng)建出全色圖像和分割圖，形成GAN新的訓練數(shù)據(jù)集。
而每次手動創(chuàng)建這些數(shù)據(jù)，需要20多分鐘。
谷歌表示，奇美拉畫家為藝術(shù)家節(jié)省了數(shù)百萬小時的時間。
- 馬斯克把超聲波雷達也扔掉了！特斯拉再度減配：8攝像頭終極傳感器方案面世2022-10-05
- iPhone在6人死亡車禍中自動求救，網(wǎng)友：功能很好，但千萬別用上2022-10-04
- 漸進派破壁：西有特斯拉，東有毫末智行！用數(shù)據(jù)智能推動自動駕駛歷史進城2022-09-21
- 獨家 | 吉利控股集團擬收購圖森控股亞太地區(qū)業(yè)務全部股份，價格暫未公布2022-08-19
相關(guān)閱讀
