英偉達也來卷AI繪畫，支持幾筆完成精準構(gòu)圖，還提出擴散模型進化新方向
CLIP+谷歌T5都用上了
豐色 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
英偉達也來卷擴散模型了。
這一次，它將文本生成圖像的效果再次提高一個level。
比如，面對超長文本描述，它（下圖最右列）比Stable Diffusion和DALL-E 2表達的都更精確：
注意第一組圖刺猬的夏威夷風(fēng)襯衣，以及第三組圖貓貓的頭盔。
當(dāng)描述要求展示出具體的文字時，也只有它（下圖最右列）可以準確做到：
除此之外，即時樣式轉(zhuǎn)換也是小菜一碟，只需一張樣圖就成。
比如來一個梵高風(fēng)的泰迪熊沖浪：
或者這樣的鴨子：
當(dāng)然，英偉達最擅長的分割圖作畫，它也支持，可以讓你用寥寥幾筆完成精準構(gòu)圖：
（其中，每一個顏色塊代表一個元素。）
看起來還闊以吧，它背后的方法也值得說道說道。
兩個文本編碼器+專家去噪網(wǎng)絡(luò)
我們知道，擴散模型包含兩個階段：
從原圖逐步到噪聲的正向過程/擴散過程；
以及從噪聲逐步到原圖的逆向過程。
第二個過程就是去噪，作者想到，在此階段，面對不同的噪聲水平時都用不同的模型進行處理，也就是開發(fā)一個叫做“專家去噪”的網(wǎng)絡(luò)，效果是不是會更好一些？
于是就誕生了這個新的AIGC工具：eDiffi。
eDiffi的pipeline由三個擴散模型級聯(lián)而成：
一個可以合成64×64分辨率樣本的基礎(chǔ)模型，以及兩個可以分別將圖像分辨率遞增到256×256和1024×1024的超分辨率模型。
當(dāng)模型接收到一條文本描述時，會首先同時計算T5 XXL embedding和CLIP text embedding。
注意是用了兩個文本編碼器哦，不然效果不會這么好：
Ps. T5指的是谷歌的文本到文本轉(zhuǎn)換器（Text-to-Text Transfer Transformer ），它可以幫助模型做到更精準地理解文本描述。
接著選擇根據(jù)參考圖像計算得出的CLIP圖像編碼，用作樣式向量（可選可不選）。
然后再將所有embedding都饋送到上面的級聯(lián)擴散模型中，最后逐漸生成分辨率為1024×1024的圖像。
再來說說主角：去噪專家（Denoising experts）網(wǎng)絡(luò)。
我們知道，在擴散模型中，圖像的合成是通過迭代去噪過程來完成的，這個過程又指的是從隨機噪聲中逐漸生成圖像。
在傳統(tǒng)的擴散模型訓(xùn)練中，都是訓(xùn)練一個模型來對整個噪聲分布進行去噪。
而在作者的這個框架中，他們訓(xùn)練了一組專家去噪器，專門用于在生成過程的不同步驟進行去噪。
如下圖所示，作者是先從一個完整的隨機噪聲開始，然后分多個步驟逐步操作，最終生成一張騎自行車的熊貓圖像。
一位StabilityAI員工認為，這種方法可能是擴散模型的下一大突破/進步。因為不止英偉達的這個eDiffi，還有百度的文心ERNIE-ViLG 2.0也是這么做的。
zero-shot FID上獲SOTA得分
eDiffi模型是在“公共和專有數(shù)據(jù)集的集合”上訓(xùn)練而成。
其中基礎(chǔ)模型花了256塊英偉達A100 GPU，兩個超分辨率模型則花了128塊A100。
用于PK的模型包括GLIDE、Make-A-Scene、DALL-E 2、Stable Diffusion和谷歌的兩個圖像合成系統(tǒng)Imagen和Parti。
作者從COCO驗證集中隨機提取30000個文本描述，然后讓這些模型生成結(jié)果，紀錄zero-shot FID-30K得分。
最終，eDiffi獲得了最低也就是最佳分數(shù)，說明它與文字的匹配度是最高的。
最后，再來兩組效果展示和對比：
以及風(fēng)格遷移的（第一列為參考風(fēng)格，第二列為結(jié)果，第三列為參考圖像）：
關(guān)于作者
一共有12位，都來自英偉達，其中3位華人：
畢業(yè)于康奈爾大學(xué)的博士黃勛（AdaIN一作）、畢業(yè)于清華本科和斯坦福博士的Song Jiaming以及英偉達高級研究總監(jiān)Liu MingYu。
目前，該模型還未開源，不過有人表示改動不算大，所以實現(xiàn)起來并不難，應(yīng)該很快就有人復(fù)現(xiàn)出來了。
論文地址：
https://arxiv.org/abs/2211.01324
項目主頁：
https://deepimagination.cc/eDiffi/
參考鏈接：
[1]https://twitter.com/iScienceLuvr/status/1587973173932195840
[2]https://twitter.com/_akhaliq/status/1587971650007564289
[3]https://www.unite.ai/nvidias-ediffi-diffusion-model-allows-painting-with-words-and-more/
- 北大開源最強aiXcoder-7B代碼大模型！聚焦真實開發(fā)場景，專為企業(yè)私有部署設(shè)計2024-04-09
- 剛剛，圖靈獎揭曉！史上首位數(shù)學(xué)和計算機最高獎“雙料王”出現(xiàn)了2024-04-10
- 8.3K Stars!《多模態(tài)大語言模型綜述》重大升級2024-04-10
- 谷歌最強大模型免費開放了！長音頻理解功能獨一份，100萬上下文敞開用2024-04-10
相關(guān)閱讀
