給AI一張高清照片，分分鐘還你細節(jié)滿滿的3D人體模型，GitHub標星3.6k | 在線可玩
網(wǎng)友們都玩出花兒了
魚羊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
手動對人體進行3D建模并非易事。
但現(xiàn)在，只給AI一張高清照片，它還真就能分分鐘搞定這件事。
甚至還挺高清，衣服褶皺、面部表情，細節(jié)一點不少。
這項新研究來自南加州大學和Facebook，中選CVPR 2020。
并且已經(jīng)在GitHub上開源，標星3.6k，還在一天內(nèi)就漲了207顆星，登上GitHub熱榜。
一起來看看，這究竟是如何實現(xiàn)的。
多級像素對齊隱式函數(shù)
這只AI名叫PIFuHD，其基礎(chǔ)框架是ICCV 2019上已經(jīng)登場的像素對齊隱式函數(shù)PIFu。不過，PIFu以分辨率為512×512的圖像作為輸入，輸出的3D模型分辨率不高。
為了得到高分辨率的輸出，在這項研究中，研究人員在PIFu的基礎(chǔ)之上，額外疊加了一個像素對齊的預(yù)測模塊。
如圖所示，頂部粗層次像素對齊預(yù)測器捕捉全局的3D結(jié)構(gòu)。高分辨率的細節(jié)則由下面的Fine模塊添加。
具體而言，fine模塊將1024×1024的圖像作為輸入，并將其編碼成高分辨率的圖像特征（512×512）。
此后，高分辨率特征嵌入和第一個模塊中得到的3D嵌入被結(jié)合起來，用以預(yù)測占位概率場。
為了進一步提高重建的質(zhì)量和保真度，該方法還會在圖像空間中預(yù)測正反兩面的法線圖，并將其作為額外的輸入反饋給網(wǎng)絡(luò)。
細節(jié)捕捉高手
所以，跟前輩們相比，PIFuHD究竟進步了多少？
研究人員在People Snapshot dataset數(shù)據(jù)集上將其與此前的SOTA方法進行了定性比較。
可以明顯看出，由于PIFuHD充分利用了基礎(chǔ)形狀和精細形狀，能夠直接在像素級別上預(yù)測3D幾何形狀，它對輸入圖像的細節(jié)把握更加精準，重建出來的3D人體模型分辨率更高。
Demo可玩
論文代碼已經(jīng)開源，并且，研究團隊還在Colab上提供了在線試玩。
輸入一張你自己的照片，幾分鐘之內(nèi)就能收獲一個數(shù)字3D的你。
真·3D建模師福音。
結(jié)合可以讓3D模型動起來的Mixamo食用，網(wǎng)友們都玩嗨了。
趕快上手玩起來吧~
最后，附上作者簡介。
論文一作齋藤俊輔（Shunsuke Saito），目前在Facebook Reality Labs擔任研究科學家，致力于深度人類數(shù)字化的有效數(shù)據(jù)表征研究。
他在南加州大學工作期間，曾與計算機圖形學領(lǐng)域知名華人教授黎顥合作。
傳送門
GitHub地址：
https://github.com/facebookresearch/pifuhd
Demo地址：
https://colab.research.google.com/drive/11z58bl3meSzo6kFqkahMa35G5jmh2Wgt?usp=sharing#scrollTo=afwL_-ROCmDf
— 完 —
相關(guān)閱讀
