港大阿里「視覺AI任意門」，一鍵向場景中無縫傳送物體
光線角度都能適應(yīng)
克雷西 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
點(diǎn)兩下鼠標(biāo)，就能把物體無縫「傳送」到照片場景中，光線角度和透視也能自動(dòng)適應(yīng)。
阿里和港大的這個(gè)AI版「任意門」，實(shí)現(xiàn)了零樣本的圖像嵌入。
有了它，網(wǎng)購衣服也可以直接看上身效果了。
因?yàn)楣δ芎腿我忾T十分相似，所以研發(fā)團(tuán)隊(duì)給它起的名字就叫AnyDoor。
AnyDoor一次能夠傳送多個(gè)物體。
不僅如此，它還能移動(dòng)圖像里的已有物品。
有網(wǎng)友看了之后贊嘆到，或許接下來就會(huì)進(jìn)化到（把物體傳入到）視頻了。
零樣本生成逼真效果
相對于已有的類似模型，AnyDoor具有零樣本操作能力，無需針對具體物品調(diào)整模型。
除了這些需要進(jìn)行參數(shù)調(diào)節(jié)的模型之外，AnyDoor相對于其他Reference類模型也更為準(zhǔn)確。
實(shí)際上，其他的Reference類模型只能做到保持語義一致性。
通俗地說，如果要傳送的物體是一只貓，其他模型只能保證結(jié)果中也有一只貓，但相似度無法保證。
我們不妨把AnyDoor的效果放大看看，是不是看不出什么破綻？
用戶評價(jià)的結(jié)果也證實(shí)，AnyDoor在質(zhì)量和準(zhǔn)確度方面表現(xiàn)均優(yōu)于現(xiàn)有模型（滿分4分）。
而對于已有圖像中物體的移動(dòng)、換位，甚至改變姿態(tài)，AnyDoor也能出色完成。
那么，AnyDoor是如何實(shí)現(xiàn)這些功能的呢？
工作原理
要想實(shí)現(xiàn)物體的傳送，首先就要對其進(jìn)行提取。
不過在將包含目標(biāo)物體的圖像送入提取器之前，AnyDoor首先會(huì)對其進(jìn)行背景消除。
然后，AnyDoor會(huì)進(jìn)行自監(jiān)督式的物體提取并轉(zhuǎn)換成token。
這一步使用的編碼器是以目前最好的自監(jiān)督模型DINO-V2為基礎(chǔ)設(shè)計(jì)的。
為了適應(yīng)角度和光線的變化，除了提取物品的整體特征，還需要額外提取細(xì)節(jié)信息。
這一步中，為了避免過度約束，團(tuán)隊(duì)設(shè)計(jì)了一種用高頻圖表示特征信息的方式。
將目標(biāo)圖像與Sobel算子等高通濾波器進(jìn)行卷積，可以得到含高頻詳情的圖像。
同時(shí)，AnyDoor利用Hadamard對圖像中的RGB色彩信息進(jìn)行提取。
結(jié)合這些信息和過濾邊緣信息的遮罩，得到了只含高頻細(xì)節(jié)的HF-Map。
最后一步就是將這些信息進(jìn)行注入。
利用獲取到的token，AnyDoor通過文生圖模型對圖像進(jìn)行合成。
具體來說，AnyDoor使用的是帶有ControlNet的Stable Diffusion。
AnyDoor的工作流程大致就是這樣。而在訓(xùn)練方面，也有一些特殊的策略。
△AnyDoor使用的訓(xùn)練數(shù)據(jù)集
盡管AnyDoor針對的是靜態(tài)圖像，但有一部分用于訓(xùn)練的數(shù)據(jù)是從視頻當(dāng)中提取出來的。
對于同一物體，視頻當(dāng)中可以提取出包含不同背景的圖像。
將物體與背景分離后標(biāo)注配對，就形成了AnyDoor的訓(xùn)練數(shù)據(jù)。
不過雖然視頻數(shù)據(jù)有利于學(xué)習(xí)，但還存在質(zhì)量問題需要解決。
于是團(tuán)隊(duì)設(shè)計(jì)了自適應(yīng)時(shí)間步采樣策略，在不同時(shí)刻分別采集變化和細(xì)節(jié)信息。
通過消融實(shí)驗(yàn)結(jié)果可以看出，隨著這些策略的加入，CLIP和DINO評分均逐漸升高。
團(tuán)隊(duì)簡介
論文的第一作者是香港大學(xué)博士生陳汐（Xi Chen），他曾經(jīng)是阿里巴巴集團(tuán)算法工程師。
陳汐的導(dǎo)師Hengshuang Zhao是本文的通訊作者，研究領(lǐng)域包括機(jī)器視覺、機(jī)器學(xué)習(xí)等。
此外，阿里方面還有來自達(dá)摩院、菜鳥集團(tuán)的研究人員也參與了這一項(xiàng)目。
論文地址：
https://arxiv.org/abs/2307.09481
相關(guān)閱讀
