北大團(tuán)隊(duì)用Diffusion升級(jí)DragGAN，泛化更強(qiáng)生成質(zhì)量更高，點(diǎn)一點(diǎn)「大山拔地而起」

明敏 2023-08-02 16:37:05 來(lái)源：量子位

明敏 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

北大團(tuán)隊(duì)最新工作，用擴(kuò)散模型也能實(shí)現(xiàn)拖拉拽P圖！

點(diǎn)一點(diǎn)，就能讓雪山長(zhǎng)個(gè)兒：

或者讓太陽(yáng)升起：

這就是DragonDiffusion，由北京大學(xué)張健老師團(tuán)隊(duì)VILLA（Visual-Information Intelligent Learning LAB），依托北京大學(xué)深圳研究生院-兔展智能AIGC聯(lián)合實(shí)驗(yàn)室，聯(lián)合騰訊ARC Lab共同帶來(lái)。

它可以被理解為DragGAN的變種。

DragGAN如今GitHub Star量已經(jīng)超過(guò)3w，它的底層模型基于GAN（生成對(duì)抗網(wǎng)絡(luò)）。

一直以來(lái)，GAN在泛化能力和生成圖像質(zhì)量上都有短板。

而這剛好是擴(kuò)散模型（Diffusion Model）的長(zhǎng)處。

所以張健老師團(tuán)隊(duì)就將DragGAN范式推廣到了Diffusion模型上。

該成果發(fā)布時(shí)登上知乎熱榜。

有人評(píng)價(jià)說(shuō)，這解決了Stable Diffusion生成圖片中部分殘缺的問(wèn)題，可以很好進(jìn)行控制重繪。

讓獅子在照片中轉(zhuǎn)頭

Dragon Diffusion能帶來(lái)的效果還包括改變車頭形狀：

讓沙發(fā)逐漸變長(zhǎng)：

再或者是手動(dòng)瘦臉：

也能替換照片中的物體，比如把甜甜圈放到另一張圖片里：

或者是給獅子轉(zhuǎn)轉(zhuǎn)頭：

該方法框架中包括兩個(gè)分支，引導(dǎo)分支（guidance branch）和生成分支（generation branch）。

首先，待編輯圖像通過(guò)Diffusion的逆過(guò)程，找到該圖像在擴(kuò)散隱空間中的表示，作為兩個(gè)分支的輸入。

其中，引導(dǎo)分支會(huì)對(duì)原圖像進(jìn)行重建，重建過(guò)程中將原圖像中的信息注入下方的生成分支。

生成分支的作用是引導(dǎo)信息對(duì)原圖像進(jìn)行編輯，同時(shí)保持主要內(nèi)容與原圖一致。

根據(jù)擴(kuò)散模型中間特征具有強(qiáng)對(duì)應(yīng)關(guān)系，DragonDiffusion在每一個(gè)擴(kuò)散迭補(bǔ)中，將兩個(gè)分支的隱變量通過(guò)相同的UNet去噪器轉(zhuǎn)換到特征域。

然后利用兩個(gè)mask，和區(qū)域。標(biāo)定拖動(dòng)內(nèi)容在原圖像和編輯后圖像中的位置，然后約束的內(nèi)容出現(xiàn)在區(qū)域。

論文通過(guò)cosin距離來(lái)度量?jī)蓚€(gè)區(qū)域的相似度，并對(duì)相似度進(jìn)行歸一化：

除了約束編輯后的內(nèi)容變化，還應(yīng)該保持其他未編輯區(qū)域與原圖的一致性。這里也同樣通過(guò)對(duì)應(yīng)區(qū)域的相似度進(jìn)行約束。最終，總損失函數(shù)設(shè)計(jì)為：

在編輯信息的注入方面，論文通過(guò)score-based Diffusion將有條件的擴(kuò)散過(guò)程視為一個(gè)聯(lián)合的score function：

將編輯信號(hào)通過(guò)基于特征強(qiáng)對(duì)應(yīng)關(guān)系的score function轉(zhuǎn)化為梯度，對(duì)擴(kuò)散過(guò)程中的隱變量進(jìn)行更新。

為了兼顧語(yǔ)義和圖形上的對(duì)齊，作者在這個(gè)引導(dǎo)策略的基礎(chǔ)上引入了多尺度引導(dǎo)對(duì)齊設(shè)計(jì)。

此外，為了進(jìn)一步保證編輯結(jié)果和原圖的一致性，DragonDiffusion方法中設(shè)計(jì)了一種跨分支的自注意力機(jī)制。

具體做法是利用引導(dǎo)分支自注意力模塊中的Key和Value替換生成分支自注意力模塊中的Key和Value，以此來(lái)實(shí)現(xiàn)特征層面的參考信息注入。

最終，論文提出的方法，憑借其高效的設(shè)計(jì)，為生成的圖像和真實(shí)圖像提供了多種編輯模式。

這包括在圖像中移動(dòng)物體、調(diào)整物體大小、替換物體外觀和圖像內(nèi)容拖動(dòng)。

在該方法中，所有的內(nèi)容編輯和保存信號(hào)都來(lái)自圖像本身，無(wú)需任何微調(diào)或訓(xùn)練附加模塊，這能簡(jiǎn)化編輯過(guò)程。

研究人員在實(shí)驗(yàn)中發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)第一層太淺，無(wú)法準(zhǔn)確重建圖像。但如果到第四層重建又會(huì)太深，效果同樣很差。在第二/三層的效果最佳。

相較于其他方法，Dragon Diffusion的消除效果也表現(xiàn)更好。

來(lái)自北大張健團(tuán)隊(duì)等

該成果由北京大學(xué)張健團(tuán)隊(duì)、騰訊ARC Lab和北京大學(xué)深圳研究生院-兔展智能AIGC聯(lián)合實(shí)驗(yàn)室共同帶來(lái)。

張健老師團(tuán)隊(duì)曾主導(dǎo)開(kāi)發(fā)T2I-Adapter，能夠?qū)U(kuò)散模型生成內(nèi)容進(jìn)行精準(zhǔn)控制。

在GitHub上攬星超2k。

該技術(shù)已被Stable Diffusion官方使用，作為涂鴉生圖工具Stable Doodle的核心控制技術(shù)。

兔展智能聯(lián)手北大深研院建立的AIGC聯(lián)合實(shí)驗(yàn)室，近期在圖像編輯生成、法律AI產(chǎn)品等多個(gè)領(lǐng)域取得突破性技術(shù)成果。

就在幾周前，北大-兔展AIGC聯(lián)合實(shí)驗(yàn)室就推出了登上知乎熱搜第一的的大語(yǔ)言模型產(chǎn)品ChatLaw，在全網(wǎng)帶來(lái)千萬(wàn)曝光同時(shí)，也引發(fā)了一輪社會(huì)討論。

聯(lián)合實(shí)驗(yàn)室將聚焦以CV為核心的多模態(tài)大模型，在語(yǔ)言領(lǐng)域繼續(xù)深挖ChatLaw背后的ChatKnowledge大模型，解決法律金融等垂直領(lǐng)域防幻覺(jué)，可私有化、數(shù)據(jù)安全問(wèn)題。

據(jù)悉，實(shí)驗(yàn)室近期還會(huì)推出原創(chuàng)對(duì)標(biāo)Stable Diffusion的大模型。

論文地址：
https://arxiv.org/abs/2307.02421

項(xiàng)目主頁(yè)：
https://mc-e.github.io/project/DragonDiffusion/