AI教你畫油畫：任意畫風(fēng)都可駕馭，筆畫序列秒秒鐘呈現(xiàn)，百度南大團隊打造 | Reddit高贊
用前饋網(wǎng)絡(luò)預(yù)測筆畫
楊凈 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
AI已經(jīng)能教你畫油畫了。
隨便給一張圖，筆畫序列秒秒鐘呈現(xiàn)。
比如世界名畫蒙娜麗莎。
亦或是寫實類的小鳥。
還有極具氛圍感的河燈。
總之什么風(fēng)格都可以駕馭。
這項技術(shù)在Reddit上21小時內(nèi)就已經(jīng)有600+的點贊量。
究竟是如何打造的呢？
用前饋網(wǎng)絡(luò)預(yù)測筆畫
神經(jīng)繪畫，就是為給定的圖像生成一系列筆畫，并使用神經(jīng)網(wǎng)絡(luò)進行繪畫式的真實再現(xiàn)過程。
研究團隊提出了一個基于Transformer的框架，叫做Paint Transformer，用前饋網(wǎng)絡(luò)來預(yù)測筆畫的參數(shù)。
由于當(dāng)前沒有可用的數(shù)據(jù)集來訓(xùn)練Paint Transformer，受物體檢測啟發(fā)，研究人員設(shè)計了一個自訓(xùn)練Pipeline。
整個模型由兩個模塊組成：筆畫預(yù)測器和筆畫渲染器。
給定目標(biāo)圖像和中間畫布圖像，筆畫預(yù)測器，生成一組參數(shù)以確定當(dāng)前筆畫集。
預(yù)測器包含了兩個用于特征嵌入的CNN網(wǎng)路和一個用于參數(shù)預(yù)測的Transformer。
隨后，筆畫渲染器為筆畫集匯總的每個筆畫，生成筆畫圖像，并將它們繪制到畫，產(chǎn)生結(jié)果圖像，大小為512*512。
在DETR（用Transformer進行對象檢測）的基礎(chǔ)上，增加了二進制神經(jīng)元來預(yù)測筆畫是否應(yīng)該被保留。
這樣它就可以在沒有任何現(xiàn)成的數(shù)據(jù)集的情況下進行訓(xùn)練，同時還能實現(xiàn)出色的泛化能力。
實驗表明，這一方法比以前的方法取得了更好的繪畫性能，而且訓(xùn)練和推理成本更低。
百度南大團隊打造
這項技術(shù)由百度、南京大學(xué)、羅格斯大學(xué)共同打造。
目前代碼已經(jīng)開源，并在一刻相冊App上應(yīng)用。
論文地址：
https://arxiv.org/abs/2108.03798
GitHub網(wǎng)址：
https://github.com/wzmsltw/PaintTransformer
- 英偉達最新芯片B30A曝光2025-08-20
- AI應(yīng)用如何落地政企？首先不要卷通用大模型2025-08-12
- 本科必學(xué)Dijkstra算法被超越！清華段然團隊打破圖靈獎得主證明的普遍最優(yōu)性2025-08-09
- 智能體邁入L4 時代！納米AI多智能體蜂群，可創(chuàng)作最長10分鐘AI視頻2025-08-06
相關(guān)閱讀
