近日，2022 IEEE 國(guó)際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議（IEEE Conference on Computer Vision and Pattern Recognition，簡(jiǎn)稱 CVPR）公布論文收錄結(jié)果。據(jù) CVPR 官網(wǎng)顯示，共收到全球范圍內(nèi) 8186 篇有效投稿，其中火山引擎論文《Dressing in the Wild by Watching Dance Videos》（《基于跳舞視頻的通用虛擬換裝》）成功入選。
CVPR 已是計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域的全球頂級(jí)學(xué)術(shù)會(huì)議。根據(jù)谷歌學(xué)術(shù)公布的2021年最新學(xué)術(shù)期刊和會(huì)議影響力排名，CVPR在所有學(xué)術(shù)刊物中，影響力僅次于 Nature、NEJM 和 Science。
此次被收錄的最新研究成果涵蓋了計(jì)算機(jī)視覺的各項(xiàng)前沿工作。火山引擎被收錄的論文提出了 wFlow （flow in-the-wild）技術(shù)方案，首次解決真實(shí)用戶場(chǎng)景下的虛擬換裝問題。該方案通過 2D 和 3D 信息的結(jié)合，可以兼容圖片中復(fù)雜的人體姿勢(shì)，背景和服裝類型，包括寬松不貼身服裝（如連衣裙），同時(shí)保持換裝結(jié)果圖片的高清晰度和真實(shí)性。
另外，此方案通過一種自監(jiān)督訓(xùn)練的方式，通過公開可用的人物跳舞視頻（經(jīng)脫敏處理）作為訓(xùn)練數(shù)據(jù)來實(shí)現(xiàn)虛擬換裝神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，避開了難以獲得換裝結(jié)果圖作為直接監(jiān)督的難題。論文中火山引擎構(gòu)建的 dance50k 數(shù)據(jù)集后續(xù)也將公開供學(xué)術(shù)界使用。
基于跳舞視頻的通用虛擬換裝
在娛樂和電商領(lǐng)域，虛擬換裝問題有著比較好的落地前景。虛擬換裝，簡(jiǎn)單來說就是在沒有實(shí)際的人物和衣服的情況下，直接通過算法將參考圖片上的衣服，遷移到另一個(gè)用戶圖片中的人身上，從而生成真實(shí)的試穿圖片。
由于缺乏對(duì)人體潛在的 3D 信息感知能力及相應(yīng)的多樣化姿態(tài)-衣服數(shù)據(jù)集，學(xué)術(shù)界此前很難處理好實(shí)際真實(shí)用戶場(chǎng)景下的數(shù)據(jù)，只能在一些固定分布的數(shù)據(jù)集上有相對(duì)好的效果?，F(xiàn)有的虛擬換裝工作局限于簡(jiǎn)單人體姿勢(shì)及貼身衣物，極大地限制了其在真實(shí)場(chǎng)景下的應(yīng)用能力。
在 2020 年上半年，火山引擎開始對(duì)虛擬換裝技術(shù)做長(zhǎng)線規(guī)劃并開始長(zhǎng)期投入，首次將 2D 像素流與 3D 頂點(diǎn)流相結(jié)合形成更為通用的外觀流預(yù)測(cè)模塊 （命名為 wFlow），在解決寬松衣服變形的同時(shí)提升對(duì)復(fù)雜人體姿勢(shì)的適應(yīng)力。
具體來說，2D 像素流負(fù)責(zé)構(gòu)建衣物圖片與人體分割圖之間的紋理映射關(guān)系，其對(duì)圖片層面的空間結(jié)構(gòu)特征敏感但無法復(fù)現(xiàn)潛在 3D 人體的剛性變換，通過進(jìn)一步引入基于 SMPL 人體 3D 模型的頂點(diǎn)流，通用復(fù)合外觀流 wFlow 相較現(xiàn)有工作的單一外觀流具備更強(qiáng)的三維感知力，同時(shí)不丟失了對(duì)目標(biāo)衣服完整 2D 空間結(jié)構(gòu)的保留能力，下圖展示了 wFlow 與其他 SOTA 虛擬試穿方法的對(duì)比結(jié)果。
相較現(xiàn)有工作需要大量人工采集成對(duì)衣服-人物數(shù)據(jù)集進(jìn)行模型訓(xùn)練，火山引擎通過在跳舞視頻上直接進(jìn)行跨幀自監(jiān)督訓(xùn)練并對(duì)復(fù)雜例子進(jìn)行在線環(huán)式優(yōu)化，實(shí)驗(yàn)證明 wFlow 相較現(xiàn)有的單一像素或者頂點(diǎn)外觀流方法在真實(shí)世界圖片上泛化性更高。
可以說，wFlow (flow in-the-wild)技術(shù)方案，相比現(xiàn)有方案有更好的視角效果和客觀圖像質(zhì)量評(píng)估指標(biāo)，有效提升了虛擬換裝的普適性。
論文中，火山引擎新提出的大規(guī)模視頻數(shù)據(jù) Dance50k 相較現(xiàn)有被廣泛使用的 DeepFashion 數(shù)據(jù)集在衣服種類及圖片數(shù)量上均有大幅提升（見下圖）。
同時(shí)，火山引擎決定將構(gòu)建的大規(guī)模人物視頻數(shù)據(jù)集共享給學(xué)術(shù)界使用，以期促進(jìn)虛擬換裝及其他以人為中心的圖像生成研究。
未來，AI 技術(shù)將越來越多地應(yīng)用于貫穿 B 端商家與 C 端消費(fèi)者的整條業(yè)務(wù)鏈路，例如在短視頻和電商領(lǐng)域：
- 為短視頻特效道具提供技術(shù)基礎(chǔ)，實(shí)現(xiàn)一鍵換裝的短視頻特效。用戶可以穿著各式各樣的服裝進(jìn)行短視頻創(chuàng)作，激發(fā)創(chuàng)作欲望，豐富后置攝像頭的視頻創(chuàng)作生態(tài)；
- 幫助電商環(huán)境下，用戶服裝選購(gòu)實(shí)現(xiàn)線上試衣，甚至幫助商家生成高質(zhì)量模特服裝展示圖，節(jié)省成本。
除此之外，火山引擎自研了頭部、耳部、足部、手部、腕部、頸部、身體等業(yè)內(nèi)最全面的端上實(shí)時(shí)人體 3D 感知能力，支持 10 余類商品的實(shí)時(shí)試穿試戴，提供全平臺(tái)統(tǒng)一的虛擬試穿試戴解決方案。
疫情當(dāng)前，線上消費(fèi)場(chǎng)景需求更多元，AR 虛擬體驗(yàn)成為促進(jìn)體驗(yàn)式消費(fèi)升級(jí)的重要一環(huán)。對(duì)于用戶來說，能夠直接在線上進(jìn)行商品試用，有助于提升用戶的線上消費(fèi)體驗(yàn)，從而促進(jìn)商品的購(gòu)買轉(zhuǎn)化；對(duì)于品牌方來說，提供線上的商品及品牌特效互動(dòng)的能力，這對(duì)于品牌推廣及購(gòu)買轉(zhuǎn)化率，都有重要的意義。
借助落地的 wFlow 技術(shù)方案，火山引擎開放技術(shù)，擁抱合作，希望幫助更多行業(yè)用戶打造新的營(yíng)銷玩法，實(shí)現(xiàn)業(yè)務(wù)增長(zhǎng)。
