AI用50個三角形畫出抽象版蒙娜麗莎，有股后現(xiàn)代的感覺了 | 谷歌大腦出品
只需一個詞就能創(chuàng)作抽象畫，CLIP+ES算法的組合成了現(xiàn)代藝術(shù)家。
明敏 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
現(xiàn)在，給AI一個短語和50個三角形，它就能創(chuàng)作一副極簡風(fēng)格的抽象畫了。
只需輸入“a drawing of cat（一張貓的畫像）”，一只棱角分明、散發(fā)著冷酷氣息的抽象貓就生成了。
不只是這種泛泛的概念，給出特定詞匯，這個AI也能指定作畫。
比如輸入“Walt Disney World（迪士尼樂園）”，50個三角形立刻重新排布，一個風(fēng)格完全不同的抽象版迪士尼城堡就出現(xiàn)在了眼前。
可以說是完完全全抓住了迪士尼城堡的精髓。
以上這些“大作”，其實都是進化策略 （ES）和CLIP結(jié)合后生成的效果，由谷歌大腦團隊出品。
他們讓兩個AI相互配合，根據(jù)文字提示及具體圖像，用一堆三角形創(chuàng)作出了一幅幅極具特色的抽象畫。
抽象后的谷歌大樓，大概長這樣：
不能說毫無關(guān)系，只能說一模一樣啊。
這回，真的有點后現(xiàn)代藝術(shù)的feel了。
只用三角形創(chuàng)作的抽象畫
從生成的效果可以看到，ES算法+CLIP其實就是把一堆隨機的三角形重新排布，通過調(diào)整它們的大小、位置、顏色，逐漸將其構(gòu)建成一個與給出詞匯所吻合的圖像。
具體來看，在最初始時，ES算法會以三角形的坐標(biāo)、RGBA值作為參數(shù)，在畫布上隨機給出一些三角形。
進化策略（ES）算法的原理則像進化論一樣，它可以根據(jù)給出的信息不斷優(yōu)化，直到得到一個最優(yōu)解。
CLIP則是OpenAI開發(fā)的一個負(fù)責(zé)給圖像重排序的模型。
它會對ES算法給出的三角形圖像與文字描述的相似度進行打分，然后將結(jié)果反饋給ES算法，ES算法就會為了提升分?jǐn)?shù)而不斷迭代，最后得到一副藝術(shù)畫。
除了給出文字指令外，直接給一張圖作為初始信息，只用ES算法也能進行作畫。
這不，用50個三角形、迭代10000次后，后現(xiàn)代抽象版蒙娜麗莎誕生了。
如果增加更多的三角形，算法給出的效果也會更好。
在下面的對比中，當(dāng)三角形數(shù)量達到200時，生成的圖像立刻增加了億點點細(xì)節(jié)。
其中達爾文和蒙娜麗莎的例子，fitness幾近達到了100%。
此外，為了實現(xiàn)更好的效果，研究人員還采用了ClipUp優(yōu)化器。
從對比中可以看到，使用優(yōu)化器后迭代1萬次后的效果比基本算法迭代56萬次后的還要好。
同時，與基于梯度的渲染方法對比，ES算法的表現(xiàn)也可圈可點。
渲染方法會更側(cè)重于紋理和顏色上的細(xì)化，而ES算法會更加側(cè)重于如何布局這些三角形。
那么給出文本指令生成的效果如何呢？
在“Self”、“Human”、“Walt Disney World（迪士尼樂園）”幾個案例中，算法的表現(xiàn)依舊很優(yōu)秀。
在體現(xiàn)關(guān)鍵字主題精髓的情況下，隨著構(gòu)圖三角形數(shù)量的增多，算法給出的結(jié)果細(xì)節(jié)也就更為豐富。
但是在“ picture of Tokyo”這個例子中，它的表現(xiàn)就不那么好了。
研究人員認(rèn)為這是由于算法在生成陰影較深的三角形上還存在困難，所以造成了這一結(jié)果。
而且面對命題作業(yè)，算法也會盡可能給出不同的答案。
在這幾個案例的重復(fù)4次測試中，我們可以看到生成的圖像都存在明顯的區(qū)別。
Demo可試玩
其實這并不是CLIP第一次“指揮”別的AI作畫了。
此前與GAN配合，就讓圖像變成了CG藝術(shù)風(fēng)。
事實上，這一次的抽象畫效果，你也可以體驗。
團隊已經(jīng)將代碼開源，在Colab上也能進行試玩（鏈接已附在文末）。
這是有網(wǎng)友上傳的生成圖像，效果真的還不錯，你能猜出來這是誰嗎？
論文鏈接：
https://arxiv.org/abs/2109.08857
GitHub開源地址：
https://github.com/google/brain-tokyo-workshop/
試玩鏈接：
https://colab.research.google.com/drive/1DGNxs8E4cA_ZUwPQdusxDArCWj-JX5TG#scrollTo=7AkoGodQw8kr&uniqifier=4
- 4o-mini華人領(lǐng)隊也離職了，這次不怪小扎2025-08-19
- 宇樹機器人“撞人逃逸”火到國外，王興興回應(yīng)：下次不遙控了2025-08-16
- 突破Claude-4編程上限！自進化Agent框架拿下新SOTA，已開源2025-08-19
- 讓OpenAI只領(lǐng)先5天，百川發(fā)布推理新模型，掀翻醫(yī)療垂域開源天花板2025-08-11
相關(guān)閱讀
超越CLIP的多模態(tài)模型，只需不到1%的訓(xùn)練數(shù)據(jù)！南加大最新研究來了
火爆全網(wǎng)的AI繪畫，背后原理就是它
克10-EM-P-150x150.jpg)