很多3D人體模型都很強大，但總是難免“裸奔”。

像要創(chuàng)造出真正的人類“化身”模型，衣服和頭發(fā)不可或缺。

但這些元素的精確3D數據非常稀少，還很難獲得。

來自三星AI中心（莫斯科）等團隊的技術人員一直致力于此方面的研究，最終他們開發(fā)出這樣一個模型：

生成的3D人，穿著原本的衣服、發(fā)量發(fā)型也都毫無保留地呈現。

乍一看，“跟真人似的”。

更棒的是，無需模特示范，模型還可以“舉一反三”，擺出各種POSE！

效果是這樣子的：

該模型被命名為StylePeople。

來看看具體怎么搞的吧！

神經裝扮模型（The neural dressing model）

其實，不止是“裸奔”，很多三維人體模型還很“死板”：模特擺什么姿勢模型就跟著擺什么。

就像此前，利用隱函數來生成的三維人體模型能夠高度還原模特的著裝和發(fā)型了，但是人物姿勢依然不夠變通，只能從原模特的幾個特定視角生成。

ps.也是該團隊的研究成果

所以在為3D人體模型還原衣服顏色、褶皺和發(fā)型的同時，也要保證人物的姿勢可以“舉一反三”。

為此研究人員采用將多邊形實體網格建模與神經紋理相結合的方法。

多邊形網格負責控制和建模粗糙的人體幾何姿勢，而神經渲染負責添加衣服和頭發(fā)。

首先他們設計了一個神經裝扮模型（The neural dressing model），該模型結合了可變形網格建模與神經渲染，如下圖所示。

最左列表示被可視化的前三個PCA組件。

第2、3列為在用SMPL-X建模的人體網格上疊加“人型化身”的紋理（texture）。

第4、5列為使用渲染網絡光柵化渲染出的結果。

可以優(yōu)雅地處理出寬松的衣服和長頭發(fā)以及復雜的穿衣結構！

接下來，基于上面的神經裝扮模型，研究人員造出能生成“Fullbody”的3D人體模型。

最終的生成架構是StyleGANv2和神經裝扮的結合。

StyleGAN部分使用反向傳播算法生成神經紋理，然后將其疊加在SMPL-X網格上，并使用神經渲染器進行渲染。

在對抗性學習中，判別器將每一對圖像看為同一個人。

提高了視頻和少量圖像生成3D人類模型的技術水平

在對神經裝扮這一方法的效果驗證中，研究人員首先評估了基于視頻素材的3D模型生成結果。

效果如文章開頭所展示的圖像，左邊是示例源幀，其余的圖像是左邊視頻人物的“化身”。在簡單的增強現實程序做的背景下，呈現出了模特先前并沒有擺過的各種姿勢。

接下來，對基于小樣本圖像素材的神經裝扮效果進行評估。

研究人員使用僅兩個人的People Snapshot數據集將他們的神經裝扮方法與其他各種方法（如360Degree等，見表）進行比較。

衡量生成的模型質量的指標包括LPIPS（感知相似度）、SSIM（結構相似性）、FID（真實樣本與生成樣本在特征空間之間的距離）、和IS（清晰度與多樣性得分）。

結果顯示了他們的方法在所有指標上都占有優(yōu)勢，

除了IS以外，但影響不大，因為它與視覺質量的相關性最小。

最后，該團隊表示，他們這個模型的生成效果（如下圖）仍然受到目前樣本數據規(guī)模和質量的限制，今后工作重點是提高該模型的數據利用率。

有興趣的同學可以持續(xù)關注該團隊的研究進展。