人在ICCV，介紹兩篇入選的“穿衣服換衣服”論文

量子位的朋友們 2019-10-31 17:47:40 來源：量子位

乾明 假裝發(fā)自 首爾

量子位 報(bào)道 | 公眾號(hào) QbitAI

人在ICCV 2019，剛從韓國首爾離開?！綿oge

說兩篇有意思的論文吧，來自一個(gè)中國小哥，都是關(guān)于“衣服”的研究。

一篇教人穿衣服，另一篇給人換衣服。

比脫衣服的研究難多了，而且頗具商業(yè)價(jià)值。

第一篇教人穿衣服：FiNet模型

這篇論文題目為Compatible and Diverse Fashion Image Inpainting，還被接收為Oral論文（接受率僅4.6%），研究方向是時(shí)裝搭配。

研究到了這個(gè)程度，只是簡單地將輸入圖像中缺失的時(shí)尚單品補(bǔ)全已經(jīng)不夠用了。

想要突出還要注重整體搭配的協(xié)調(diào)性與真實(shí)性。

在這個(gè)過程中，最棘手的一個(gè)問題是，如何在耦合形狀和外觀時(shí)，妥善處理衣服的邊界。

這也是同類模型效果不如人意，且無法商業(yè)化的關(guān)鍵點(diǎn)之一。

這個(gè)論文中，作者提出了一個(gè)名為FiNet的模型，基于兩階段的變分自編碼器的生成網(wǎng)絡(luò)，在滿足多樣性和兼容性的條件下，來填充圖像中缺失的時(shí)尚商品。

核心思路是，分別用形狀生成網(wǎng)絡(luò)和外觀生成網(wǎng)絡(luò)，來依次生成缺失衣服的形狀和外觀。

從而使FiNet可以在目標(biāo)區(qū)域中修復(fù)出具有不同形狀和外觀的服裝。

△形狀生成網(wǎng)絡(luò)

△外觀生成網(wǎng)絡(luò)

為了保證兼容性，作者也在其中集成了一個(gè)兼容性模塊，將兼容性信息編碼到網(wǎng)絡(luò)中，來保證讓生成衣服的形狀和外觀都是和其他衣服是兼容搭配的。

如此研究，應(yīng)用場景也頗為廣泛。

從用戶的角度來說，在不知道穿什么衣服出門的時(shí)候，可以讓計(jì)算機(jī)模型自動(dòng)生成搭配的潮流服裝。

而商家，則是可以將這一技術(shù)，應(yīng)用到時(shí)裝設(shè)計(jì)和新時(shí)尚商品推薦等應(yīng)用中，來更好的實(shí)現(xiàn)商業(yè)購買轉(zhuǎn)化，進(jìn)一步激發(fā)用戶的消費(fèi)力。

那效果如何呢？在論文中，作者給出的效果是這樣的：

直觀來看，與Pix2Pix+noise、BicyleGAN、VUNET、ClothNet等方法相比，效果比較好。

從實(shí)際應(yīng)用的角度來分析，F(xiàn)iNet模型的結(jié)果，也相對更接近落地一些。

論文地址：

FiNet:Compatible and Diverse Fashion Image Inpainting

https://arxiv.org/abs/1902.01096v2

第二篇：給人換衣服，ClothFlow模型

這篇論文名為ClothFlow: A Flow-Based Model for Clothed Person Generation，研究主題也是衣服生成。

但與FiNet模型比起來，這篇論文的實(shí)現(xiàn)方式與應(yīng)用方向都有很大不同。

ClothFlow是一個(gè)基于外觀流的衣服生成模型。

主要用于將一個(gè)圖片中的服裝渲染到另外一張圖片上，其想要實(shí)現(xiàn)的效果是這樣的：

具體的實(shí)現(xiàn)方式，是使用一個(gè)級(jí)聯(lián)的特征金字塔網(wǎng)絡(luò)，估算源服裝區(qū)域和目標(biāo)服裝區(qū)域的幾何變換，然后通過多個(gè)基于編碼器-解碼器的生成網(wǎng)絡(luò)來實(shí)現(xiàn)“衣服遷移”。

在論文中，作者也多次提到了這一研究的應(yīng)用場景——虛擬試衣等服裝相關(guān)應(yīng)用。

尤其是在直播場景中，有不少的想象空間。

這一技術(shù)成熟后，主播可以虛擬換裝，省去買衣服的成本和換衣服的時(shí)間。

而且， 用戶也可以根據(jù)自己的喜好給主播選穿什么樣的衣服。

論文地址：

ClothFlow: A Flow-Based Model for Clothed Person Generation

http://openaccess.thecvf.com/content_ICCV_2019/papers/Han_ClothFlow_A_Flow-Based_Model_for_Clothed_Person_Generation_ICCV_2019_paper.pdf

作者

最后簡單介紹下論文作者吧。

主題相近、方法不同的兩篇入會(huì)論文，一作都是一位叫韓欣彤的小哥。

隨手查了下履歷：

上海交大本科、馬里蘭大學(xué)帕克分校博士。

2018年進(jìn)入工業(yè)界，先在創(chuàng)業(yè)公司碼隆科技任職算法研究員。

最新已被挖到虎牙，是中國直播一哥公司的計(jì)算機(jī)視覺Tech Lead。

他說，接下來還是會(huì)持續(xù)關(guān)注直播內(nèi)容生成方向，比如人臉和人體的驅(qū)動(dòng)和生成。

韓欣彤很年輕，但已經(jīng)在CVPR，ICCV，ECCV等頂級(jí)會(huì)議發(fā)表了近十篇論文。

而且據(jù)他自己介紹，是上海交大本科三年級(jí)時(shí)才真正接觸計(jì)算機(jī)視覺，至今7年。

所以也是真正找到了興趣和擅長，也趕上了時(shí)代潮流。

我們問虎牙，這次韓欣彤博士穿衣服、換衣服的研究，會(huì)跟他現(xiàn)在在虎牙的工作進(jìn)一步相關(guān)起來嗎？

比如——一個(gè)大膽而規(guī)矩的想法，在直播中給主播虛擬換裝，或者讓用戶給主播換衣服。

他們沒給直接肯定的答案。

不過也云山霧罩透露：在學(xué)在產(chǎn)，虎牙的技術(shù)研發(fā)都不會(huì)僅僅存在于論文中，也會(huì)進(jìn)一步進(jìn)入到平臺(tái)業(yè)務(wù)中。

所以，就說你們這些搞技術(shù)研究的，贊得很。（大誤）

— 完 —