生成逼真3D人偶，居然不用3D形狀建模，還能學(xué)會(huì)你的舞步 | 三星CVPR Oral
靈魂注入。
3D栗子 發(fā)自 凹非寺
量子位 出品 | 公眾號(hào) QbitAI
當(dāng)你站在空曠的屋子里，眼神堅(jiān)定地望向遠(yuǎn)方。
有只AI已經(jīng)獲得了你的影像，并合成了一座3D全身像。
后來(lái)，你開(kāi)始解放天性，自在舞動(dòng)，卻驚訝地發(fā)現(xiàn)：
那個(gè)虛擬的自己，也在用同樣的姿勢(shì)起舞，并且?guī)缀鹾湍阃?/strong>。
一切仿佛與生俱來(lái)，像是你的靈魂注入了它的身體。
這是一項(xiàng)中選了CVPR 2019 Oral的研究，但不止是因?yàn)樾Ч普妫?/p>
更重要的是，它沒(méi)有用到3D形狀建模?(Explicit 3D Shape Modeling) ，而是依靠2D紋理映射?(2D Texture Map) ，來(lái)完成渲染的。
而在這樣的情況下，渲染依然逼真。就算是渲染沒(méi)見(jiàn)過(guò)的新姿勢(shì)，也不在話下。
到底是怎么做到的？
優(yōu)秀的腦回路
論文寫(xiě)到，這是介于經(jīng)典圖形學(xué)方法與深度學(xué)習(xí)方法之間的一條路。
其中，圖形學(xué)的思路就是，把幾何?(Geometry) 跟紋理?(Texture) 分開(kāi)處理。
幾何是3D的，好比白色的人體雕塑，紋理是2D的，好比外面的皮膚。
而神經(jīng)網(wǎng)絡(luò)的任務(wù)，只限于預(yù)測(cè)從紋理到輸出圖之間，需要怎樣的圖像形變/扭曲 (Warping) 。換句話說(shuō)，把2D“皮膚”貼到3D人類(lèi)的身上。
具體來(lái)講，那是一個(gè)全卷積網(wǎng)絡(luò)，角色是生成器?(上圖黃色部分) 。它要根據(jù)輸入的人類(lèi)姿態(tài)，以及攝像頭參數(shù)，為人體的各個(gè)特征點(diǎn)，生成2D紋理坐標(biāo)。
用這些紋理坐標(biāo)，可以預(yù)測(cè)出2D的RGB圖像。
反正，最終顯現(xiàn)的效果，也是一幀接一幀的2D圖。每一幀的角度有所不同，看去便是3D人像了：
就這樣，完美避開(kāi)了3D形狀建模。
而訓(xùn)練過(guò)程中，網(wǎng)絡(luò)會(huì)把每一次預(yù)測(cè)出的2D圖，和Ground Truth做對(duì)比，再把損失 (Losses) 反向傳播回到生成器里，增強(qiáng)預(yù)測(cè)能力。模型是用多視角視頻數(shù)據(jù)來(lái)訓(xùn)練的。
訓(xùn)練完成后，就算你擺出AI沒(méi)見(jiàn)過(guò)的新姿勢(shì)，它也能做出成功的渲染。
團(tuán)隊(duì)說(shuō)那是因?yàn)椋Ａ?strong>顯式的紋理表征?(Explicit Texture Representation) ，有助于提升泛化能力。
當(dāng)然，沒(méi)做3D形狀建模，也不代表全程都在2D中度過(guò)。
別忘了，和2D紋理搭配食用的，是3D人體幾何。也就是說(shuō)，人類(lèi)的姿態(tài)估計(jì)，是3D姿態(tài)估計(jì)。
這一部分，團(tuán)隊(duì)從大前輩DensePose那里，借用了精髓：把攝像頭拍下的2D圖中，人類(lèi)的每個(gè)像素點(diǎn)，都映射到3D人體表面的特定位置上。
于是就有了3D姿態(tài)。還記得么，上面的2D紋理預(yù)測(cè)網(wǎng)絡(luò)，輸入就是姿態(tài)。
不用3D形狀建模的3D人像合成方法，達(dá)成。
引用一句俗語(yǔ)：意料之外，情理之中。
來(lái)自俄羅斯
這個(gè)思路清新流暢的研究，來(lái)自莫斯科的三星AI中心，以及斯科爾科沃科技研究院。團(tuán)隊(duì)成員有12人之多。
如果你想要更深刻地感受這個(gè)模型的魅力，請(qǐng)從傳送門(mén)前往觀賞。
論文傳送門(mén)：
https://arxiv.org/abs/1905.08776
主頁(yè)傳送門(mén)：
https://saic-violet.github.io/texturedavatar/
前輩DensePose傳送門(mén)：
http://densepose.org/
- 馬云正式卸任后，阿里巴巴開(kāi)盤(pán)跌0.87%2019-09-10
- AI獨(dú)角獸云知聲，已完成一期科創(chuàng)板IPO輔導(dǎo)2019-10-17
- 亞馬遜在華拓展云計(jì)算團(tuán)隊(duì)，挑戰(zhàn)阿里巴巴和騰訊2019-10-16
- IDC：今年上半年中國(guó)公有云服務(wù)市場(chǎng)規(guī)模達(dá)54.2億美元2019-11-07
相關(guān)閱讀
「過(guò)擬合」也能廢物利用了：有人用它高清重建3D物體表面，參數(shù)減少99%
多倫多大學(xué)和麥吉爾大學(xué)的一項(xiàng)最新研究表明，過(guò)擬合也并非一無(wú)是處，在重建3D物體外觀上，過(guò)擬合神經(jīng)網(wǎng)絡(luò)就有奇效。
創(chuàng)意-478281450746806409.jpg)
器學(xué)習(xí)老師.jpg)
